[논문 리뷰] Exploring Advanced Large Language Models with LLMsuite

Giorgio Roffo|arXiv (Cornell University)|2024. 07. 01.

Natural Language Processing Techniques인용 수 1

한 줄 요약

이 튜토리얼은 Retrieval-Augmented Generation (RAG), Program-Aided Language Models (PAL), 그리고 LoRA, RLHF, PPO와 같은 고급 피팅 기법을 통해 대규모 언어 모델(Large Language Models, LLMs)을 향상시키는 종합적인 프레임워크를 제시한다. 외부 지식과 구조적 추론을 통합하여 사실 정확도, 수학적 추론 능력, 인간의 선호도와의 일치도를 향상시키며, 전체 재학습 없이도 실세계 응용 분야에서 신뢰성을 크게 향상시킨다.

ABSTRACT

This tutorial explores the advancements and challenges in the development of Large Language Models (LLMs) such as ChatGPT and Gemini. It addresses inherent limitations like temporal knowledge cutoffs, mathematical inaccuracies, and the generation of incorrect information, proposing solutions like Retrieval Augmented Generation (RAG), Program-Aided Language Models (PAL), and frameworks such as ReAct and LangChain. The integration of these techniques enhances LLM performance and reliability, especially in multi-step reasoning and complex task execution. The paper also covers fine-tuning strategies, including instruction fine-tuning, parameter-efficient methods like LoRA, and Reinforcement Learning from Human Feedback (RLHF) as well as Reinforced Self-Training (ReST). Additionally, it provides a comprehensive survey of transformer architectures and training techniques for LLMs. The source code can be accessed by contacting the author via email for a request.

연구 동기 및 목표

• LLMs의 핵심 한계인 지식 마감 문제, 환각 현상, 수학적 오류를 해결하기 위해.
• 외부 검색, 프로그램 실행, 구조적 추론을 통합한 솔루션을 제시하여 성능을 향상시키기 위해.
• 도메인 특화 적응을 위한 LoRA, RLHF, ReST와 같은 피팅 전략에 대한 실용적인 가이드를 제공하기 위해.
• FSDP, ZeRO, DDP와 같은 확장 가능한 훈련 기법을 조사하여 대규모 모델 훈련을 효율적으로 수행하기 위해.
• LangChain과 ReAct와 같은 프레임워크를 활용해 신뢰할 수 있는 다단계 추론 에이전트를 구축하는 방법을 보여주기 위해.

제안 방법

• 실시간 외부 데이터베이스에 연결하여 사실 정확도를 향상시키기 위해 Retrieval-Augmented Generation (RAG)을 적용한다.
• 외부 코드 인터프리터와 결합하여 정확한 수치 계산을 수행하기 위해 Program-Aided Language Models (PAL)를 통합한다.
• 복잡한 작업을 중간 추론 단계로 분해하기 위해 체인 오브 톰 프롬프팅을 적용하여 논리적 일관성을 향상시킨다.
• RLHF 동안 정책 업데이트를 안정화시키기 위해 클리핑된 확률 비율을 사용하는 Proximal Policy Optimization (PPO) 알고리즘을 적용한다.
• 기울기 기반 미세조정을 통해 치명적인 기억 상실과 훈련 비용을 줄이기 위해 저랭크 적응(LoRA)을 활용한 파rameter 효율적 미세조정을 구현한다.
• LangChain과 ReAct와 같은 프레임워크를 활용해 LLM 에이전트에서 다단계 추론과 동작 계획 수립을 조율한다.

실험 결과

연구 질문

• RQ1 LLMs는 어떻게 시기적 지식 마감 문제를 해결하고 사실 생성 시 환각 현상을 줄일 수 있는가?
• RQ2 코드 인터프리터와 검색 시스템과 같은 외부 도구는 수학적 추론 능력 향상에 어떤 역할을 하는가?
• RQ3 클리핑된 확률 비율을 사용하는 PPO 기반 RLHF와 ReST는 인간의 선호도와의 일치도를 향상시키면서도 모델 안정성을 유지하는 데 어떻게 기여하는가?
• RQ4 LoRA와 같은 파rameter 효율적 미세조정 방법은 성능을 손상시키지 않으면서도 계산 비용을 얼마나 줄일 수 있는가?
• RQ5 FSDP와 ZeRO와 같은 분산 훈련 기법은 단일 GPU 제약을 초월한 대규모 LLM 훈련을 어떻게 가능하게 하는가?

주요 결과

• RAG는 재학습 없이도 최신 외부 지식 소스에 접근할 수 있도록 함으로써 사실 정확도를 크게 향상시킨다.
• PAL은 계산을 외부 인터프리터에 위임함으로써 LLM 출력의 수치 오류를 줄이고 수학적 추론 능력을 향상시킨다.
• 클리핑된 확률 비율을 사용하는 PPO 기반 RLHF는 정책 업데이트를 안정화시켜 인간 피드백과의 일치도를 향상시키며 보상 유도 공격을 최소화한다.
• LoRA는 최소한의 파라미터 업데이트로 효과적인 미세조정을 가능하게 하여 치명적인 기억 상실과 계산 오버헤드를 줄인다.
• FSDP와 ZeRO 단계는 다수의 GPU에서 메모리 사용을 최적화함으로써 대규모 모델 훈련을 효율적으로 가능하게 한다.
• LangChain과 ReAct 프레임워크는 외부 도구와 API를 효과적으로 통합하여 복잡한 다단계 추론 에이전트를 구축하는 데 기여한다.