[논문 리뷰] Enriching Location Representation with Detailed Semantic Information

Muehlburger, Herbert, Wotawa, Franz|arXiv (Cornell University)|2024. 01. 01.

Natural Language Processing Techniques인용 수 329

한 줄 요약

Llama 3은 8B, 70B, 405B 파라미터 버전을 포함한 새로운 다국어 기초 언어 모델 군집으로, 15T의 다국어 토큰과 3.8×10²⁵ FLOPs로 훈련되었으며, MMLU, GSM8K, HumanEval 등의 벤치마크에서 최신 기술 수준의 성능을 달성하여 GPT-4 및 기타 선도 모델을 맞추거나 초월한다. 이는 Llama 3 커뮤니티 라이선스 하에 공개되었다.

ABSTRACT

Cyber-physical systems (CPS) are critical to modern infrastructure, but are vulnerable to faults and anomalies that threaten their operational safety. In this work, we evaluate the use of open-source Large Language Models (LLMs), such as Mistral 7B, Llama3.1:8b-instruct-fp16, and others to detect anomalies in two distinct datasets: battery management and powertrain systems. Our methodology utilises retrieval-augmented generation (RAG) techniques, incorporating a novel two-step process where LLMs first infer operational rules from normal behavior before applying these rules for fault detection. During the experiments, we found that the original prompt design yielded strong results for the battery dataset but required modification for the powertrain dataset to improve performance. The adjusted prompt, which emphasises rule inference, significantly improved anomaly detection for the powertrain dataset. Experimental results show that models like Mistral 7B achieved F1-scores up to 0.99, while Llama3.1:8b-instruct-fp16 and Gemma 2 reached perfect F1-scores of 1.0 in complex scenarios. These findings demonstrate the impact of effective prompt design and rule inference in improving LLM-based fault detection for CPS, contributing to increased operational resilience.

연구 동기 및 목표

• 다양한 NLP 작업에서 최신 기술 수준의 성능을 달성하거나 초월하는 고품질의 다국어 기초 모델의 신세대 개발.
• 더 나은 데이터 컬렉션, 증가된 스케일(15T 토큰, 3.8×10²⁵ FLOPs), 그리고 향상된 훈련 절차를 통해 모델 품질 향상.
• 다양한 모델 크기에서 추론, 코딩, 도구 사용, 장기적 맥락 이해 능력 향상.
• 감독적 미세조정, 기각 샘플링, 직접적 선호도 최적화를 통한 후기 훈련을 통한 안전성 및 정렬 보장.
• 연구 및 책임감 있는 AI 개발을 가속화하기 위해 가장 큰 모델(405B 파라미터)을 공개

제안 방법

• 128K 맥락 길이까지 가능한 밀도형 트랜스포머 아키텍처를 사용해 15T 토큰의 다국어 코퍼스에서 Llama 3을 사전 훈련.
• 사전 훈련 및 후기 훈련 단계에서 데이터 품질 향상을 위해 철저한 데이터 컬렉션 및 필터링 파이프라인 적용.
• 가장 큰 모델을 405B 파라미터와 3.8×10²⁵ FLOPs로 확장하고, 더 작은 모델은 계산 최적화 성능을 초월하기 위해 더 긴 훈련 기간을 적용.
• 감독적 미세조정(SFT), 기각 샘플링(RS), 직접적 선호도 최적화(DPO)를 조합한 단순화된 후기 훈련 파이프라인을 사용해 정렬 구현.
• 다중 모odal 기능(이미지, 영상, 음성)을 복합적 접근 방식으로 통합했지만, 아직 공개되지 않음.
• 후기 훈련 중 405B 모델을 활용해 품질 향상을 소형 모델에 흡수시켜 더 낮은 추론 비용으로도 높은 성능 달성

실험 결과

연구 질문

• RQ1 고품질로 캐리큘레이트된 데이터로 훈련된 대규모 다국어 기초 모델이 GPT-4와 같은 선도 모델과 동등한 성능을 낼 수 있는가?
• RQ2 모델 스케일 증가와 데이터 품질 향상이 추론, 코딩, 다국어 이해 작업 전반에서 성능에 어떤 영향을 미치는가?
• RQ3 복잡한 강화 학습 없이도 단순한 후기 훈련 파이프라인(SFT + RS + DPO)이 강력한 정렬과 유용성을 달성할 수 있는가?
• RQ4 405B 파라미터의 대규모 모델이 후기 훈련 중 소형 모델(8B, 70B)에 품질 향상을 전이하기 위해 정제를 통해 얼마나 높은 성능 향상을 이룰 수 있는가?
• RQ5 복합적 접근 방식을 통한 멀티모달 통합이 이미지, 영상, 음성 인식 벤치마크에서 최신 기술 수준과 비교해 얼마나 잘 작동하는가?

주요 결과

• Llama 3 405B 모델은 MMLU(5-shot)에서 87.3%를 기록하며 GPT-3.5 Turbo와 Gemma 2 9B를 초월하고, GPT-4 성능에 근접한다.
• HumanEval(0-shot)에서 Llama 3 405B는 89.0%의 정확도를 기록하여 GPT-3.5 Turbo(68.0%)를 뛰어넘고 GPT-4(86.6%)와 GPT-4o(90.2%)에 근접한다.
• GSM8K(8-shot, CoT)에서 Llama 3 405B는 96.8%의 정확도를 기록하며 GPT-3.5 Turbo(81.6%)를 초월하고, SOTA인 96.4%(Claude 3.5 Sonnet)에 근접한다.
• Llama 3 70B 모델은 MMLU(0-shot, CoT)에서 86.0%를 기록하여 Mistral 7B(60.5%)와 Mixtral 8x22B(79.9%)를 뛰어넘으며 강력한 추론 및 지식 유지 능력을 보여준다.
• 장기 맥락 작업에서 Llama 3 405B는 ZeroSCROLLS/QuALITY에서 95.2%와 NIH/Multi-needle에서 98.1%를 기록하여 장기 맥락 추론 및 검색 성능이 뛰어나다는 것을 입증한다.
• MGSM(0-shot, CoT)에서 Llama 3 405B는 91.6%의 성능을 기록하여 Mistral 7B(29.9%)와 Gemma 2 9B(53.2%)를 크게 앞서며 강력한 다국어 일반화 능력을 보여준다.