[논문 리뷰] Motif: Intrinsic Motivation from Artificial Intelligence Feedback

Martin Klissarov, Pierluca D’Oro외 6명|arXiv (Cornell University)|2023. 09. 29.

Topic Modeling인용 수 6

한 줄 요약

Motif는 이벤트 캡션 간의 선호도를 유도하여 대규모 언어모델(LLM)에서 내재 보상 신호를 유도하는 방법을 제안한다. 이는 NetHack와 같은 rich하고 희박한 보상 환경에서 지도 없이 에이전트가 학습할 수 있도록 한다. 놀랍게도, Motif의 내재 보상으로만 훈련된 에이전트가 환경의 희박한 보상으로 직접 훈련된 에이전트를 초월하며, 두 보상의 조합은 이전에는 해결이 어려웠던 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Exploring rich environments and evaluating one's actions without prior knowledge is immensely challenging. In this paper, we propose Motif, a general method to interface such prior knowledge from a Large Language Model (LLM) with an agent. Motif is based on the idea of grounding LLMs for decision-making without requiring them to interact with the environment: it elicits preferences from an LLM over pairs of captions to construct an intrinsic reward, which is then used to train agents with reinforcement learning. We evaluate Motif's performance and behavior on the challenging, open-ended and procedurally-generated NetHack game. Surprisingly, by only learning to maximize its intrinsic reward, Motif achieves a higher game score than an algorithm directly trained to maximize the score itself. When combining Motif's intrinsic reward with the environment reward, our method significantly outperforms existing approaches and makes progress on tasks where no advancements have ever been made without demonstrations. Finally, we show that Motif mostly generates intuitive human-aligned behaviors which can be steered easily through prompt modifications, while scaling well with the LLM size and the amount of information given in the prompt.

연구 동기 및 목표

• 사전에 작업에 특화된 보상 설계 없이도 복잡하고 개방형 환경에서 탐색하고 학습할 수 있도록 에이전트를 가능하게 하기 위해.
• LLM에서 유도된 고수준의 일반 지식과 에이전트의 저수준 센서모터 결정 간 격차를 메우기 위해.
• 직접 정책 감독 없이도 확장 가능하고 일반적인 목적의 내재 동기 유도 방법을 개발하기 위해.
• LLM에서 파생된 내재 보상이 어려운 환경에서 인간 친화적이고 일반화 가능한 행동을 이끌 수 있는지 평가하기 위해.
• LLM 크기, 프롬프트 정보량, 데이터셋 다양성의 변화에 대해 이 방법의 강인성과 확장성에 대해 조사하기 위해.

제안 방법

• NetHack 환경에서 다양한 성능 수준의 에이전트로부터 관찰의 다양성 있는 데이터셋을 수집한다.
• 관찰에서 핵심 환경 이벤트를 기술하는 개략적인 이벤트 캡션을 생성한다.
• 사전 학습된 LLM(예: Llama 2)을 사용해 캡션 간의 쌍별 선호도를 표현하여 어느 이벤트가 더 바람직한지를 나타낸다.
• LLM의 선호 신호를 강화학습을 위한 조밀하고 미분 가능한 내재 보상 함수로 정제한다.
• PPO 또는 유사한 RL 알고리즘을 사용해 내재 보상을 최대화하거나 환경의 희박한 보상과 조합하여 에이전트를 훈련한다.
• LLM의 지시 프롬프트를 수정함으로써 프롬프트 기반으로 행동을 조정할 수 있도록 하여 내재 보상의 의미를 제어할 수 있도록 한다.

Figure 1: NetHack score for Motif and baselines. Agents trained exclusively with Motif’s intrinsic reward surprisingly outperform agents trained using the score itself , and perform even better when trained with a combination of the two reward functions.

실험 결과

연구 질문

• RQ1 LLM은 NetHack과 같은 희박한 보상, 개방형 환경에서 강화학습 에이전트에 효과적인 내재 보상을 제공할 수 있는가?
• RQ2 환경의 희박한 외재 보상으로만 훈련된 에이전트보다 LLM에서 유도된 내재 보상으로만 훈련된 에이전트가 성능이 뛰어나게 되는가?
• RQ3 LLM 크기와 프롬프트의 정보량 증가에 따라 내재 보상의 성능은 어떻게 변화하는가?
• RQ4 수집된 트레이ector리의 다양성과 성능 수준의 변화에 대해 이 방법은 얼마나 강인한가?
• RQ5 내재 보상에서 유도되는 행동적 특성은 무엇이며, 프롬프트 엔지니어링을 통해 제어할 수 있는가?

주요 결과

• Motif의 내재 보상으로만 훈련된 에이전트는 환경의 희박한 보상 신호로 직접 훈련된 에이전트보다 평균 NetHack 점수에서 높은 성능을 기록했다.
• 환경 보상과 조합했을 때, Motif는 기존 방법을 크게 능가했으며, 지도 없이 해결되지 않았던 오라클 과제에 대해서도 진전을 이루었다.
• Motif가 생성한 행동은 인간 플레이와 정성적으로 일치했으며, 예측 가능하고 일반 지식 기반의 사고 패턴을 보였다.
• LLM 크기와 프롬프트에 포함된 정보의 양에 따라 이 방법은 유리하게 확장되었으며, LLM이 더 크거나 프롬프트가 더 세밀해져도 성능이 강인하게 유지되었다.
• 내재 보상은 훈련 데이터셋이 낮은 보상 또는 다양성이 떨어지는 트레이ector리로 제한된 경우에도 효과를 유지했으며, 극단적인 데이터 프루닝(예: ≤100k 쌍)을 제외하면 성능 저하가 거의 없었다.
• 새로운 현상인 '조합에 의한 불일치'가 관찰되었는데, 이는 내재 보상과 외재 보상을 함께 최적화할 경우 과제 보상과의 불일치가 발생하는 현상이었다.

Figure 2: A schematic representation of the three phases of Motif. In the first phase, dataset annotation , we extract preferences from an LLM over pairs of captions, and save the corresponding pairs of observations in a dataset alongside their annotations. In the second phase, reward training , we