[论文解读] Enriching Location Representation with Detailed Semantic Information

Muehlburger, Herbert, Wotawa, Franz|arXiv (Cornell University)|Jan 1, 2024

Natural Language Processing Techniques被引用 329

一句话总结

Llama 3 是新一代多语言基础语言模型，包含 8B、70B 和 405B 参数版本，基于 15T 多语言 token 与 3.8×10²⁵ FLOPs 训练而成。其在 MMLU、GSM8K 和 HumanEval 等基准测试中达到最先进性能，表现媲美或超越 GPT-4 及其他领先模型，并以 Llama 3 社区许可证公开发布。

ABSTRACT

Cyber-physical systems (CPS) are critical to modern infrastructure, but are vulnerable to faults and anomalies that threaten their operational safety. In this work, we evaluate the use of open-source Large Language Models (LLMs), such as Mistral 7B, Llama3.1:8b-instruct-fp16, and others to detect anomalies in two distinct datasets: battery management and powertrain systems. Our methodology utilises retrieval-augmented generation (RAG) techniques, incorporating a novel two-step process where LLMs first infer operational rules from normal behavior before applying these rules for fault detection. During the experiments, we found that the original prompt design yielded strong results for the battery dataset but required modification for the powertrain dataset to improve performance. The adjusted prompt, which emphasises rule inference, significantly improved anomaly detection for the powertrain dataset. Experimental results show that models like Mistral 7B achieved F1-scores up to 0.99, while Llama3.1:8b-instruct-fp16 and Gemma 2 reached perfect F1-scores of 1.0 in complex scenarios. These findings demonstrate the impact of effective prompt design and rule inference in improving LLM-based fault detection for CPS, contributing to increased operational resilience.

研究动机与目标

• 开发新一代高质量、多语言基础模型，使其在多样化自然语言处理任务中达到或超越当前最先进水平。
• 通过增强的数据筛选、更大规模（15T token，3.8×10²⁵ FLOPs）以及更优的训练流程，提升模型质量。
• 在多种模型尺寸下，实现强大的推理、编程、工具使用及长上下文理解能力。
• 通过监督微调、拒绝采样和直接偏好优化等后训练方法，确保安全与对齐。
• 公开发布最大模型（405B 参数），以加速研究与负责任的 AI 发展。

提出的方法

• 在包含 15T token 的多语言语料上，使用最大上下文长度达 128K 的密集 Transformer 架构对 Llama 3 进行预训练。
• 在预训练与后训练阶段均应用严格的数据筛选与清洗流程，以提升数据质量。
• 将最大模型扩展至 405B 参数与 3.8×10²⁵ FLOPs，对较小模型进行更长训练，以超越计算最优性能。
• 采用简化的后训练流程，结合监督微调（SFT）、拒绝采样（RS）与直接偏好优化（DPO），实现对齐。
• 通过组合式方法集成多模态能力（图像、视频、语音），尽管目前尚未公开发布。
• 利用 405B 模型在后训练过程中蒸馏高质量改进，传递至更小模型，以实现更低推理成本下的更优性能。

实验结果

研究问题

• RQ1 在高质量、经筛选的数据上训练的大规模多语言基础模型，是否能达到与 GPT-4 等领先模型相当的性能？
• RQ2 模型规模扩大与数据质量提升，对推理、编程与多语言理解等任务的性能有何影响？
• RQ3 仅使用简化后训练流程（SFT + RS + DPO）是否足以实现强对齐与高帮助性，而无需复杂的强化学习？
• RQ4 在后训练阶段，405B 参数的大模型在知识蒸馏方面，能在多大程度上提升较小模型（8B、70B）的性能？
• RQ5 与最先进方法相比，组合式多模态集成方法在图像、视频与语音识别基准测试中的表现如何？

主要发现

• Llama 3 405B 模型在 MMLU（5-shot）上达到 87.3%，在 IFEval 上达到 88.6%，优于 GPT-3.5 Turbo 和 Gemma 2 9B，并接近 GPT-4 性能。
• 在 HumanEval（0-shot）上，Llama 3 405B 达到 89.0% 准确率，超过 GPT-3.5 Turbo（68.0%），接近 GPT-4（86.6%）与 GPT-4o（90.2%）。
• 在 GSM8K（8-shot，思维链）上，Llama 3 405B 达到 96.8% 准确率，超过 GPT-3.5 Turbo（81.6%），接近 SOTA 的 96.4%（Claude 3.5 Sonnet）。
• Llama 3 70B 模型在 MMLU（0-shot，思维链）上达到 86.0%，优于 Mistral 7B（60.5%）与 Mixtral 8x22B（79.9%），展现出强大的推理与知识保留能力。
• 在长上下文任务中，Llama 3 405B 在 ZeroSCROLLS/QuALITY 上达到 95.2%，在 NIH/Multi-needle 上达到 98.1%，表明其在长上下文推理与检索方面表现优异。
• Llama 3 405B 在 MGSM（0-shot，思维链）上达到 91.6%，显著优于 Mistral 7B（29.9%）与 Gemma 2 9B（53.2%），展现出强大的多语言泛化能力。