[논문 리뷰] ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent

Renat Aksitov, Sobhan Miryoosefi외 11명|arXiv (Cornell University)|2023. 12. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 AI 피드백과 ReST 유사 반복 미세조정 과정을 결합하여 다단계 추론을 위한 자기 향상형 ReAct 스타일 LLM 에이전트를 제안한다. 대규모 모델에서 생성한 합성 트래잭터리를 활용해, 단 두 번의 학습 반복만으로도 성능이 교사 모델에 근접한 소형 모델로의 정제를 가능하게 하며, 파rameter 수가 100분의 1에 불과한 상태에서도 높은 정확도를 달성한다.

ABSTRACT

Answering complex natural language questions often necessitates multi-step reasoning and integrating external information. Several systems have combined knowledge retrieval with a large language model (LLM) to answer such questions. These systems, however, suffer from various failure cases, and we cannot directly train them end-to-end to fix such failures, as interaction with external knowledge is non-differentiable. To address these deficiencies, we define a ReAct-style LLM agent with the ability to reason and act upon external knowledge. We further refine the agent through a ReST-like method that iteratively trains on previous trajectories, employing growing-batch reinforcement learning with AI feedback for continuous self-improvement and self-distillation. Starting from a prompted large model and after just two iterations of the algorithm, we can produce a fine-tuned small model that achieves comparable performance on challenging compositional question-answering benchmarks with two orders of magnitude fewer parameters.

연구 동기 및 목표

• 비용이 많이 드는 인간 애너테이션 기반 트래잭터리에 의존하지 않고 다단계 추론 LLM 에이전트의 성능을 향상시키는 데 도전하는 것.
• 종단 간 미분 가능 학습 없이도 반복적인 합성 데이터 생성과 AI 피드백을 통해 지속적인 자기 향상이 가능한 에이전트를 구현하는 것.
• 복잡한 구성 질문-응답 작업에서 성능을 유지하면서도 고성능 대규모 에이전트를 소형 모델로 효과적으로 정제하는 것.
• 장문의 근거 있는 답변에 대한 자동 평가를 위해 Bamboogle 및 BamTwoogle 데이터셋을 활용한 프록시 평가 프레임워크를 구축하는 것.
• 자기 비판과 반복적 개선이 과정 기반, 도구 보강형 LLM 에이전트의 견고성과 추론 품질을 향상시키는 데 기여하는지 탐구하는 것.

제안 방법

• 에이전트는 복잡한 질문에 답하기 위해 사고의 사슬과 검색 도구 호출 및 관찰을 번갈아 수행하는 ReAct 스타일 워크플로우를 따르며 진행된다.
• 합성 트래잭터리는 자기 향상 루프를 통해 생성된다: '성장' 단계에서는 현재 정책이 전체 사고 트래잭터리를 샘플링하고, '향상' 단계에서는 LLM 기반 보상 피드백을 사용해 트래잭터리를 필터링하고 순위를 매긴다.
• AI 피드백을 활용한 성장 배치 강화 학습 기법을 적용하며, 이는 이전 에이전트 행동에서 유래한 점진적으로 증가하는 합성 데이터셋에 기반해 정책을 반복적으로 미세조정한다.
• 자기 비판 단계는 추론 흐름에 통합되어 응답의 관련성과 검색된 스니펫에 대한 근거성 여부를 검증함으로써 최종 출력 품질을 향상시킨다.
• 최종 정제된 모델은 자기 향상 과정 동안 생성된 합성 데이터로 훈련되며, 파arameter 수가 원본 대규모 모델의 100분의 1에 불과함에도 불구하고 성능이 근접한 것을 입증한다.
• 평가에서는 Bamboogle 및 BamTwoogle 데이터셋을 활용한 자동 평가 지표를 사용하며, 각 질문에 대해 다수의 에이전트 실행을 통해 확률적 요건을 고려하고 견고성을 확보한다.

실험 결과

연구 질문

• RQ1 AI 피드백과 합성 데이터만을 사용해도 ReAct 스타일 LLM 에이전트를 효과적으로 반복적인 자기 향상으로 향상시킬 수 있는가?
• RQ2 대규모 모델의 사고 트레이스에서 유래한 합성 데이터가 소형 모델로의 정제를 가능하게 하고 성능을 유사하게 유지할 수 있는가?
• RQ3 자기 비판은 다단계 에이전트의 추론 품질을 향상시키는가? 이 효과는 모델 크기에 따라 일관되게 나타나는가?
• RQ4 비현저한 성능 향상을 달성하기 위해 얼마나 많은 자기 향상 반복이 필요한가? 그리고 포화점이 존재하는가?
• RQ5 ReST 유사 자기 향상 프레임워크는 다중 도구 또는 미사용 도구 환경으로 확장 가능한가? 이를 위해 어떤 수정이 필요한가?

주요 결과

• 자기 향상 루프를 단 두 번 수행한 후, 미세조정된 소형 모델은 Bamboogle 벤치마크에서 원본 대규모 모델과 유사한 성능을 달성했으며, 10회의 실행 평균 정확도는 78.5%, 표준편차는 2.1%였다.
• 정제된 소형 모델는 파arameter 수가 원본 교사 모델의 100분의 1에 불과함에도 불구하고 성능이 동등한 것으로 나타나, 합성 트래잭터리에서 효과적인 지식 정제가 가능함을 입증했다.
• 자기 비판 단계는 소규모 성능 향상을 제공하며, 이 효과는 더 큰 모델에서 더 두드러지게 나타나며 자기 향상 과정과는 독립적임을 확인했다.
• PaLM 2-L를 활용한 자동 평가 시스템은 인간 평가자와 잘 일치하며, 강력한 하이퍼파ram터 분석을 지원함으로써 에이전트 트래잭터리에 대한 신뢰할 수 있는 자동 평가를 가능하게 했다.
• ReST 유사 반복 학습 프로세스는 인간 애너테이션 데이터 없이도 에이전트 성능을 크게 향상시켰으며, 오직 AI 피드백과 합성 데이터 생성에 의존한다.
• 이 방법은 다중 도구 환경으로의 확장 가능성은 보이며, 향후 연구가 필요로 하는 바는 이 기법이 미사용 도구로 일반화되는지 여부와 추가적인 아키텍처 변경이 필요한지 여부이다.