[論文レビュー] Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback

Josh Abramson, Arun Ahuja+17 more|arXiv (Cornell University)|Nov 21, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本論文では、プログラムによる報酬関数に依存せずに、人間からの強化学習（RLHF）を用いてマルチモーダル相互作用エージェントを改善するフレームワークを提案する。シミュレートされた3次元相互作用中に人間がエージェントの進行状況を評価するデータを収集し、それらを新しい時系列ブラッドリー＝テリー（IBT）報酬モデルでモデル化することで、BC+RLによるエージェントの訓練を実現した。これにより、ライブでの相互作用において人間の93％のパフォーマンスを達成し、一部のタスクでは平均的人間の成功率を上回った。

ABSTRACT

An important goal in artificial intelligence is to create agents that can both interact naturally with humans and learn from their feedback. Here we demonstrate how to use reinforcement learning from human feedback (RLHF) to improve upon simulated, embodied agents trained to a base level of competency with imitation learning. First, we collected data of humans interacting with agents in a simulated 3D world. We then asked annotators to record moments where they believed that agents either progressed toward or regressed from their human-instructed goal. Using this annotation data we leveraged a novel method - which we call "Inter-temporal Bradley-Terry" (IBT) modelling - to build a reward model that captures human judgments. Agents trained to optimise rewards delivered from IBT reward models improved with respect to all of our metrics, including subsequent human judgment during live interactions with agents. Altogether our results demonstrate how one can successfully leverage human judgments to improve agent behaviour, allowing us to use reinforcement learning in complex, embodied domains without programmatic reward functions. Videos of agent behaviour may be found at https://youtu.be/v_Z9F2_eKk4.

研究の動機と目的

• 手動で設計された報酬関数に依存せずに、体験的でマルチモーダルなエージェントを訓練する手法を開発すること。
• オープンエンドな環境における複雑で曖昧な人間の相互作用に対して、正確で頑健な報酬関数を定義する課題に対処すること。
• 人間によるフィードバックを活用して、モバイルマニピュレーションおよび双方向言語相互作用タスクの両方でエージェントのパフォーマンスを向上させること。
• デジタルアシスタント、ゲームAI、言語で指示可能なロボットに適用可能なスケーラブルで一般化可能なフレームワークを構築すること。
• 人間の判断に基づくRLHFが、模倣学習のベースラインを上回り、特定のタスクでは平均的人間のパフォーマンスを上回ることを実証すること。

提案手法

• 3次元シミュレーテッド環境（Playhouse）で人間同士の相互作用データを収集し、行動クラーニング（BC）による初期エージェントの事前学習を実施した。
• 参加者がエージェントの目標達成に向けた進行状況をリアルタイムで評価する人間によるフィードバックを含むインタラクションを実施した。
• エージェントの軌道の時系列的セグメントに対する人間の判断から報酬関数を学習するため、新しい時系列ブラッドリー＝テリー（IBT）モデルを導入した。
• 時間的要因を捉えた人間の好みを反映する報酬モデルをIBTを用いて学習し、密な、順序付きのフィードバックを可能にした。
• 学習された報酬モデルを最適化するために、行動クラーニングと強化学習（BC+RL）の組み合わせによるエージェントのファインチューニングを実施した。
• 参加者が指示を出し、リアルタイムでエージェントの成功度を評価するライブ人間相互作用を用いてエージェントを評価した。

Figure 1: Approach. We started by training an agent via behavioural cloning (BC) from a dataset of human-human interactions, as in Interactive Agents Team ( 2021b ) . Then, we collected a dataset of human-agent interactions and, for a subset of episodes, asked humans to provide judgments of progress

実験結果

リサーチクエスチョン

• RQ1 複雑でマルチモーダルな相互作用環境において、エージェントの進行状況に関する人間のフィードバックを効果的にモデル化し、強化学習をガイドできるか？
• RQ2 人間の判断に基づく報酬モデルは、マニピュレーションおよび言語相互作用タスクの両方で、模倣学習のベースラインを上回るエージェントパフォーマンスを実現できるか？
• RQ3 人間のフィードバックを用いたRLHFは、オープンエンドで自然な状況下の相互作用において、平均的人間プレイヤーのパフォーマンスに匹敵またはそれを上回る性能を達成できるか？
• RQ4 長時間にわたるマルチモーダルタスクにおいて、密度の高い、時間に敏感な報酬モデリングを支援するように、人間のフィードバックをどのように構造化できるか？
• RQ5 完全な軌道比較を必要とせずに、IBTモデルが時間経過に伴う人間の好みを効果的に捉えることができるか？

主な発見

• BC+RLで訓練されたエージェントは、ライブでの相互作用設定において人間参加者の93％の成功率を達成し、BCオンリーのエージェントを著しく上回った。
• 質問への回答やオブジェクトマニピュレーションといった特定の相互作用タイプでは、BC+RLエージェントが平均的人間のパフォーマンスを上回った。
• 時系列ブラッドリー＝テリー（IBT）モデルは、時間的セグメントにおける人間のフィードバックを効果的に捉え、完全な軌道比較を必要とせずに効果的な報酬設計を可能にした。
• このフレームワークは、モバイルマニピュレーションおよび双方向言語相互作用を含む多様なタスクに一般化可能であることが示された。
• 人間の評価では、改善されたエージェントがリアルタイムの相互作用においてより能動的で目標志向的であると認識された。
• この手法により、手作業で設計された報酬関数への依存が軽減され、複雑で曖昧で現実に近い環境におけるエージェントのスケーラブルな訓練が可能になった。

Figure 2: An example episode within the human feedback dataset. The original dialogue between the human and agent is shown on the left, next to a plot of the feedback that 6 human raters gave to this particular episode. Positive and negative feedback marks are represented by filled green and empty r