[論文レビュー] Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation

Zhizhou Ren, Anji Liu+3 more|arXiv (Cornell University)|Nov 20, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、数値報酬の代わりに人間の好みのフィードバックを使用することで、高速かつ少量のフィードバックでポリシーを適応可能なメタ強化学習アルゴリズムANOLEを提案する。好みベースのタスク推定をノイジーチャネル通信問題としてモデル化し、情報理論におけるBerlekampの体積を活用することで、1回の問い合わせあたりの情報量を最大化し、ノイズのある人間のフィードバックに対しても頑健な性能を発揮する。ベンチマークタスクにおいて、フィードバックの効率性と誤り耐性の両面でベースラインを上回る。

ABSTRACT

Learning new task-specific skills from a few trials is a fundamental challenge for artificial intelligence. Meta reinforcement learning (meta-RL) tackles this problem by learning transferable policies that support few-shot adaptation to unseen tasks. Despite recent advances in meta-RL, most existing methods require the access to the environmental reward function of new tasks to infer the task objective, which is not realistic in many practical applications. To bridge this gap, we study the problem of few-shot adaptation in the context of human-in-the-loop reinforcement learning. We develop a meta-RL algorithm that enables fast policy adaptation with preference-based feedback. The agent can adapt to new tasks by querying human's preference between behavior trajectories instead of using per-step numeric rewards. By extending techniques from information theory, our approach can design query sequences to maximize the information gain from human interactions while tolerating the inherent error of non-expert human oracle. In experiments, we extensively evaluate our method, Adaptation with Noisy OracLE (ANOLE), on a variety of meta-RL benchmark tasks and demonstrate substantial improvement over baseline algorithms in terms of both feedback efficiency and error tolerance.

研究の動機と目的

• 既存のメタ強化学習手法が、適応に環境報酬関数へのアクセスを必要としているという制限を解決すること。これは、現実のヒューマンインザループ環境では現実的ではない。
• 正確な報酬設計に依存せず、行動軌道間の単一の好みフィードバックのみを用いて、新しいタスクにおける高速なポリシー適応を可能にすること。
• 各フィードバックから得られる情報量を最大化するクエリ戦略を設計すること。同時に、専門外のフィードバック誤りに対しても頑健であること。
• 好みベースの推定をノイジーチャネル通信問題として定式化することで、メタ強化学習とヒューマンインザループ学習を橋渡しすること。

提案手法

• 好みベースのタスク推定問題を、人間のフィードバックをノイズのある2値信号として扱うRényi-Ulamのゲームとしてモデル化する。
• 情報理論におけるBerlekampの体積を用いて、ノイズのある好みフィードバックにおける不確実性を定量化し、クエリ設計を支援する。
• 1回の相互作用あたりの情報量を最大化するように適応的なクエリシーケンスを設計し、必要な人間のクエリ数を削減する。
• パrametricな報酬関数形に関する仮定を避けるために、非パラメトリックなタスク埋め込み推定を扱えるようにフレームワークを拡張する。
• メタ強化学習のバックボーン上でANOLEアルゴリズムを実装し、ペアワイズの好み比較のみを用いて高速な適応を可能にする。
• MuJoCo環境におけるステップワイズ報酬の合計から好みラベルを導出するシミュレーションベースのフィードバックメカニズムを採用し、人間の判断を模倣する。

実験結果

リサーチクエスチョン

• RQ1 環境報酬関数へのアクセスが制限される状況でも、メタ強化学習が新しいタスクに高速で適応可能か？
• RQ2 情報理論的原則を用いて、ポリシー適応における人間の好みフィードバックのための効率的クエリシーケンスを設計できるか？
• RQ3 少数回のフィードバックで適応を行う際、メタ強化学習エージェントはどれほどノイズや一貫性のない人間のフィードバックに耐性を示せるか？
• RQ4 数値報酬の代わりに好みベースのフィードバックを用いることで、複雑な制御タスクにおいて効果的かつ効率的なポリシー適応が達成可能か？

主な発見

• ANOLEはフィードバック効率を顕著に向上させ、メタ強化学習ベンチマークで強いパフォーマンスを達成するためのヒューマンクエリ数をわずか200回にまで削減した。
• ノイズのあるフィードバックに対しても頑健であることが実証され、人間のフィードバックの誤り率が最大10％に達しても高いパフォーマンスを維持した。
• 人間参加者を用いた実験では平均して6.2％のフィードバック誤り率であったが、ANOLEは適応速度と最終的なポリシー品質の両面でベースラインを上回った。
• Berlekampの体積を用いた不確実性の定量化により、1回の相互作用あたりの情報量を最大化する効果的なクエリ設計が可能になった。
• 多様なメタ強化学習ベンチマークタスクにおいて、ANOLEはフィードバック効率性と誤り耐性の両面でベースラインアルゴリズムを上回る優れたパフォーマンスを発揮した。
• 本手法により、報酬関数の特定のパラメトリックな形を仮定する必要がなく、非パラメトリックなタスク推定が可能になった。