[論文レビュー] Motif: Intrinsic Motivation from Artificial Intelligence Feedback

Martin Klissarov, Pierluca D’Oro+6 more|arXiv (Cornell University)|Sep 29, 2023

Topic Modeling被引用数 6

ひとこと要約

Motifは、イベントキャプションの好みを引き出すことで、大規模言語モデル（LLM）から内在的報酬信号を導出する手法を提案する。これにより、教示なしに報酬が非常にスパarsな環境（例：NetHack）でもエージェントが学習可能になる。驚くべきことに、Motifの内在的報酬にのみ訓練されたエージェントは、環境のスパarsな報酬に直接訓練されたエージェントを上回り、両方の報酬を組み合わせることで、かつては解けなかったタスクで最先端の性能を達成した。

ABSTRACT

Exploring rich environments and evaluating one's actions without prior knowledge is immensely challenging. In this paper, we propose Motif, a general method to interface such prior knowledge from a Large Language Model (LLM) with an agent. Motif is based on the idea of grounding LLMs for decision-making without requiring them to interact with the environment: it elicits preferences from an LLM over pairs of captions to construct an intrinsic reward, which is then used to train agents with reinforcement learning. We evaluate Motif's performance and behavior on the challenging, open-ended and procedurally-generated NetHack game. Surprisingly, by only learning to maximize its intrinsic reward, Motif achieves a higher game score than an algorithm directly trained to maximize the score itself. When combining Motif's intrinsic reward with the environment reward, our method significantly outperforms existing approaches and makes progress on tasks where no advancements have ever been made without demonstrations. Finally, we show that Motif mostly generates intuitive human-aligned behaviors which can be steered easily through prompt modifications, while scaling well with the LLM size and the amount of information given in the prompt.

研究の動機と目的

• 事前にタスク固有の報酬設計を施さずに、複雑でオープンエンドな環境においてエージェントが探索と学習を可能にする。
• LLMが持つ高レベルの常識的知識とエージェントの低レベルのセンサモータ制御意思決定の間のギャップを埋める。
• 直接方策の監視を避けることにより、スケーラブルで汎用的な内在的動機付けの手法を構築すること。
• LLMから導出された内在的報酬が、困難な環境で人間の価値観に整合し、一般化可能な行動をもたらすかどうかを評価すること。
• LLMのサイズ、プロンプト情報量、データセットの多様性の変化に対して、この手法の頑健性とスケーラビリティを調査すること。

提案手法

• NetHack環境における、さまざまな性能水準のエージェントから得られた観察の多様なデータセットを収集する。
• 観察からキーワンの環境イベントを要約する粗いイベントキャプションを生成する。
• 事前学習済みLLM（例：Llama 2）を用い、キャプション間の対比較的好みを表現し、より望ましいイベントを示す。
• LLMの好み信号を、密度的かつ微分可能な内在的報酬関数に蒸留する。
• PPOや類似するRLアルゴリズムを用いて、内在的報酬を最大化するようにエージェントを訓練する。あるいは、環境のスパarsな報酬と組み合わせる。
• プロンプトの変更によりLLMの指示を調整することで、内在的報酬の意味論を制御可能なようにする。

Figure 1: NetHack score for Motif and baselines. Agents trained exclusively with Motif’s intrinsic reward surprisingly outperform agents trained using the score itself , and perform even better when trained with a combination of the two reward functions.

実験結果

リサーチクエスチョン

• RQ1 LLMは、報酬が非常にスパarsでオープンエンドな環境（例：NetHack）において、RLエージェントに効果的な内在的報酬を提供できるか？
• RQ2 環境のスパarsな外的報酬に直接訓練されたエージェントと比較して、LLMから導出された内在的報酬にのみ訓練されたエージェントは、性能が優れているか？
• RQ3 LLMのサイズやプロンプト情報量の増加に伴い、内在的報酬の性能はどのようにスケーリングするか？
• RQ4 収集された軌道の多様性や性能水準の変化に対して、この手法はどれほど頑健か？
• RQ5 内在的報酬からどのような行動的特性が生じるか。また、プロンプト工学によってそれらを制御可能か？

主な発見

• Motifの内在的報酬にのみ訓練されたエージェントは、環境のスパarsな報酬信号に直接訓練されたエージェントよりも、NetHackの平均スコアが高かった。
• 環境報酬と組み合わせた場合、Motifは既存の手法を著しく上回り、教示なしでは解けなかったオラクルタスクに対しても進展を示した。
• Motifが生成した行動は、人間のプレイと定性的に整合しており、先制的かつ常識的な推論パターンを示した。
• LLMのサイズおよびプロンプトに含まれる情報量の両方において、この手法は好ましいスケーリングを示した。LLMが大きくなったり、プロンプトが詳細化されても、性能は依然として頑健であった。
• 訓練データが低リターンまたは多様性に欠ける軌道に限定されても、内在的報酬は依然として有効であった。極端なデータの削減（例：≤100kペア）が行われた場合を除き、性能の低下は限定的であった。
• 「合成による不整合」という新しい現象が観察された。内在的報酬と外的報酬の両方を最適化することで、タスク報酬に対して不整合な行動が生じた。

Figure 2: A schematic representation of the three phases of Motif. In the first phase, dataset annotation , we extract preferences from an LLM over pairs of captions, and save the corresponding pairs of observations in a dataset alongside their annotations. In the second phase, reward training , we