[논문 리뷰] Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization

Weiran Yao, Shelby Heinecke외 13명|arXiv (Cornell University)|2023. 08. 04.

Topic Modeling인용 수 4

한 줄 요약

Retroformer는 환경 보상에 기반한 정책 그래디언트 기반 프레임워크를 도입하여 과거의 실패를 분석하고 실행 가능한 피드백을 생성함으로써 대규모 언어 모델 에이전트의 성능을 햖थन다. 액터 모델의 파라미터에 접근하지 않고 환경 보상에서 학습함으로써, HotPotQA에서 4회 시도 내에 작업 성공률을 18% 향상시켰으며, 기울기 기반 개선 기능이 없는 기준 모델들을 능가한다.

ABSTRACT

Recent months have seen the emergence of a powerful new trend in which large language models (LLMs) are augmented to become autonomous language agents capable of performing objective oriented multi-step tasks on their own, rather than merely responding to queries from human users. Most existing language agents, however, are not optimized using environment-specific rewards. Although some agents enable iterative refinement through verbal feedback, they do not reason and plan in ways that are compatible with gradient-based learning from rewards. This paper introduces a principled framework for reinforcing large language agents by learning a retrospective model, which automatically tunes the language agent prompts from environment feedback through policy gradient. Specifically, our proposed agent architecture learns from rewards across multiple environments and tasks, for fine-tuning a pre-trained language model which refines the language agent prompt by summarizing the root cause of prior failed attempts and proposing action plans. Experimental results on various tasks demonstrate that the language agents improve over time and that our approach considerably outperforms baselines that do not properly leverage gradients from the environment. This demonstrates that using policy gradient optimization to improve language agents, for which we believe our work is one of the first, seems promising and can be applied to optimize other models in the agent architecture to enhance agent performances over time.

연구 동기 및 목표

• 기존 언어 에이전트에서 환경 보상 최적화의 부재 문제를 해결하기 위해, 비가역적 언어 피드백에 의존하는 경향이 있는 점을 개선한다.
• 액터 LLM의 파라미터에 접근하지 않고도 기울기 기반 학습을 가능하게 하기 위해, 실패를 분석하고 실행 가능한 통찰을 생성하는 후행적 모델을 훈련함으로써 언어 에이전트의 기울기 기반 학습을 가능하게 한다.
• 메인 액터 LLM의 접근이나 기울기 계산 없이도 성능을 향상시킬 수 있는 플러그인 모듈을 개발한다.
• 정책 그래디언트 최적화가 다양한 환경과 작업에서 언어 에이전트의 추론 및 계획 능력을 향상시킬 수 있는지 조사한다.
• 자기 반성에서 냉동된 LLM의 한계를 극복하기 위해, 정확한 책임 할당과 근본 원인 분석을 위한 전용 후행적 모델을 훈련함으로써, 냉동된 LLM의 한계를 극복한다.

제안 방법

• 프레임워크는 환경의 보상을 사용하여 정책 그래디언트 최적화를 통해 미세조정되는 후행적 모델 $M_r$ 을 사용하며, 액터 LLM을 환경의 일부로 간주한다.
• 후행적 모델은 이전 실패의 근본 원인을 요약하고 다음 시도를 위한 수정된 행동 계획을 제안하는 텍스트 피드백을 생성한다.
• 액터 LLM을 블랙박스 환경으로 간주함으로써 액터 LLM을 거쳐 기울기 역전파를 방지하며, 후행적 모델에만 기울기 업데이트가 적용된다.
• 후행적 모델은 HotPotQA와 같은 환경의 보상 정보를 사용하여 오프라인 경험 트레이젝터리에서 훈련되며, 효과적이고 구조화된 반성 능력을 최적화한다.
• 모델은 명시적 지도 없이도 두 부분으로 구성된 응답을 학습한다: 실패에 대한 반성과 새로운 실행 가능한 계획.
• 이 방법은 모듈식이며 중립적이며, GPT나 Bard와 같은 어떤 클라우드 기반 LLM과도 통합 가능하며, 메모리나 요약 모듈과 같은 다른 구성 요소로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 정책 그래디언트 최적화가 후행적 피드백을 통해 대규모 언어 에이전트의 추론 및 계획 능력을 향상시킬 수 있는가?
• RQ2 미세조정된 후행적 모델이 반복적 작업 향상에 있어 실행 가능한 책임 할당 인식 피드백을 생성하는 데서 냉동된 LLM보다 우수한가?
• RQ3 플러그인 형태의 후행적 모듈이 액터 LLM을 수정하거나 그 기울기를 전파하지 않아도 에이전트 성능을 얼마나 향상시킬 수 있는가?
• RQ4 후행적 피드백의 구조(예: 반성과 계획의 분리)가 에이전트 성능과 학습 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 도구 사용이 포함된 질문-답변와 같은 고차원 상태-행동 공간에서 다양한 환경과 작업으로 일반화 가능한가?

주요 결과

• Retroformer는 HotPotQA에서 4회 시도 내에 검색 기반 질문-답변 작업의 성공률을 18% 향상시켜 기준 방법들을 크게 능가한다.
• 미세조정된 후행적 모델은 정확한 책임 할당을 학습하여, 에이전트가 사고의 연속성에서 목표를 忘却한 탓에 실패했다고 식별한다.
• 냉동된 LLM이 반복적이고 도움이 되지 않는 반성만 생성하는 데 반해, 강화된 모델은 반성과 행동 계획 섹션으로 나뉘어진 구조화된 피드백을 생성한다.
• 강화된 모델은 '다음 시도:'와 같은 중복되거나 관련 없는 내용을 제거함으로써 환상적 출력을 방지하여 더 깔끔하고 실행 가능한 프롬프트를 생성한다.
• 이 방법은 벤치마크에서 5회의 시도 내에 53%의 성공률을 달성했으며, 훨씬 더 큰 LLM(GPT-3)을 사용한 최신 기술의 50% 성공률을 뛰어넘었다.
• 정책 그래디언트 접근법은 후행적 모델이 환경 피드백과 함께 시행착오를 통해 근본 원인 분석 및 구조화된 응답 형식 생성과 같은 잠재적 행동을 학습하도록 한다.