[논문 리뷰] Introspective Tips: Large Language Model for In-Context Decision Making

Liting Chen, Lu Wang외 10명|arXiv (Cornell University)|2023. 05. 19.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 자신의 경험, 전문가의 예시, 다양한 환경의 트레이젝터리에서 고수준의 일반화 가능한 통찰을 추출함으로써, 프롬프트 기반 프레임워크인 '인트로스펙티브 티프스(Introspective Tips)'를 통해 인링크 컨텍스트 학습에서 의사결정을 자가 최적화할 수 있도록 하는 방법을 제안한다. 미세조정 없이도, 이 방법은 일반화된 통찰을 동적으로 프롬프트에 통합함으로써, 텍스트 기반 게임에서 소수의 예시 및 제로샷 설정 모두에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

The emergence of large language models (LLMs) has substantially influenced natural language processing, demonstrating exceptional results across various tasks. In this study, we employ ``Introspective Tips" to facilitate LLMs in self-optimizing their decision-making. By introspectively examining trajectories, LLM refines its policy by generating succinct and valuable tips. Our method enhances the agent's performance in both few-shot and zero-shot learning situations by considering three essential scenarios: learning from the agent's past experiences, integrating expert demonstrations, and generalizing across diverse games. Importantly, we accomplish these improvements without fine-tuning the LLM parameters; rather, we adjust the prompt to generalize insights from the three aforementioned situations. Our framework not only supports but also emphasizes the advantage of employing LLM in in-contxt decision-making. Experiments involving over 100 games in TextWorld illustrate the superior performance of our approach.

연구 동기 및 목표

• 기존의 태스크 특화 반성 또는 미세조정을 필요로 하는 LLM 기반 의사결정 에이전트의 한계를 해결하기 위해.
• 과거 경험과 전문가의 트레이젝터리에서 유도된 압축된 고수준 지침을 통해 LLM 에이전트가 다양한 태스크와 환경에서 일반화할 수 있도록 하기 위해.
• 파ram터 업데이트 없이 LLM의 본질적 공통 경험과 추론 능력을 활용하여 인링크 의사결정을 향상시키는 프롬프트 기반 프레임워크를 개발하기 위해.
• 제한된 예시와 에이전트 트레이젝터리에서 일반화된 티프스를 추출하고 적용하여, 데이터가 적은 환경에서의 성능을 향상시키기 위해.

제안 방법

• 프레임워크는 에이전트 트레이젝터리, 전문가의 예시, 교차 환경 비교에서 유도된 '인트로스펙티브 티프스'—즉, 간결하고 고수준의 지침을 생성한다.
• 성공적이고 실패한 트레이젝터리에서 티프스를 압축하여 일반화 가능한 원칙을 포착한다. 예를 들어 '재료를 구울 땐 오븐을 사용하라'와 같은 구체적인 행동 로그가 아닌 일반 원칙이다.
• 추출된 티프스를 추론 중에 LLM의 컨텍스트에 삽입함으로써 프롬프트를 동적으로 조정함으로써, 미세조정 없이도 인링크 적응이 가능하다.
• 이 방법은 개별 실패 사례에 대한 세부적인 자기 분석인 '반성(reflections)'과는 달리, 일반적이고 실행 가능한 조언에 집중한다.
• LLM의 사전 훈련된 공통 경험과 추론 능력을 활용하여 희소하거나 복잡한 트레이젝터리에서도 유용한 전략을 유추한다.
• 다양한 게임과 난이도 수준에서 재사용 가능한 티프스를 통해, 소수의 예시 및 제로샷 일반화를 모두 지원한다.

실험 결과

연구 질문

• RQ1 원시 트레이젝터리 로그나 태스크 특화 반성 대신 일반화된 고수준 통찰을 학습함으로써 LLM 에이전트가 인링크 의사결정을 향상시킬 수 있는가?
• RQ2 인트로스펙티브 티프스를 사용하는 프롬프트 기반 방법이 다양한 텍스트 기반 게임에서 제로샷 및 소수의 예시 설정 모두에서 얼마나 효과적인가?
• RQ3 전문가나 에이전트 트레이젝터리에서 유도된 일반화 가능한 티프스가 태스크 특화 반성보다 교차 환경 일반화에서 더 우수한 성능을 낼 수 있는가?
• RQ4 LLM이 인트로스펙티브 지식 추출을 통해 파라미터 미세조정 없이 얼마나 깊이 의사결정을 자가 최적화할 수 있는가?
• RQ5 인간이 생성한 티프스와 모델이 생성한 티프스의 사용이 저난이도 게임 환경에서 성능에 어떤 영향을 미치는가?

주요 결과

• 일반적인 인트로스펙티브 티프스를 사용한 LLM 에이전트는 10개의 게임과 48개의 트레이젝터리만을 사용함에도 불구하고, 난이도 수준 0–3에서 최신 기술(SOTA) 딥 러닝 에이전트(TDQN, GATA, ITL)와 유사한 성능을 달성했다.
• 난이도 수준 3과 4에서는 인트로스펙티브 티프스를 사용한 LLM이 SOTA 방법을 초월했으며, 특히 작업 구조에 대한 추론 능력과 탐색 관련 함정을 피하는 능력 덕분이었다.
• 제로샷 설정에서 일반 티프스를 사용한 LLM은 난이도 수준 4 게임에서 성공률 95%를 기록하여, 제한된 예시에서의 강력한 일반화 능력을 입증했다.
• 인간이 생성한 티프스가 제공된 경우, LLM의 성공률은 난이도 수준 4에서 96%로 상승하여, 티프스의 품질이 성능에 상당한 영향을 미친다는 것을 시사했다.
• LLM의 확률적 성격으로 인해 비결정적인 행동이 발생할 수 있었으며, 이로 인해 일부 티프스를 간과하고 오류를 범하기도 했지만, 여전히 전용으로 훈련된 SOTA 에이전트를 능가했다.
• 반성 기반 접근 방식보다 이 방법이 더 우수한 성능을 보였는데, 이는 티프스가 환경 간에 더 잘 일반화되기 때문이다. 예를 들어 게임 2에서는 태스크 특화 반성이 관련성이 없어 실패한 반면, 오븐 사용에 관한 티프스는 성공했다.