[論文レビュー] Evaluating Agents without Rewards

Brendon Matusch, Jimmy Ba+1 more|arXiv (Cornell University)|Dec 21, 2020

Reinforcement Learning in Robotics参考文献 44被引用数 10

ひとこと要約

本論文は、収集済みのエージェント行動データセットを分析することで、強化学習における内発的動機付け目的の後向き評価フレームワークを提案する。オンライン学習のコストを回避する。入力エントロピーと情報利得は、タスク報酬よりも人間の行動とより強く相関しており、アタリーやマイクラフトのような複雑な環境において、人間らしいエージェント行動のより良い代理指標であることが示唆される。

ABSTRACT

Reinforcement learning has enabled agents to solve challenging tasks in unknown environments. However, manually crafting reward functions can be time consuming, expensive, and error prone to human error. Competing objectives have been proposed for agents to learn without external supervision, but it has been unclear how well they reflect task rewards or human behavior. To accelerate the development of intrinsic objectives, we retrospectively compute potential objectives on pre-collected datasets of agent behavior, rather than optimizing them online, and compare them by analyzing their correlations. We study input entropy, information gain, and empowerment across seven agents, three Atari games, and the 3D game Minecraft. We find that all three intrinsic objectives correlate more strongly with a human behavior similarity metric than with task reward. Moreover, input entropy and information gain correlate more strongly with human similarity than task reward does, suggesting the use of intrinsic objectives for designing agents that behave similarly to human players.

研究の動機と目的

• 報酬関数が疎または利用できない場合に、強化学習の内発的目的の評価が遅いという課題に対処すること。
• アタリーやマイクラフトのような複雑な環境において、入力エントロピー、情報利得、エマワーパーントといった内発的目的を、人間の行動とタスク報酬とで比較すること。
• 各目的の再トレーニングを必要とせず、エージェントを再学習せずに比較可能な、スケーラブルな後向き評価手法を開発すること。
• アタリーやマイクラフトのような環境において、内発的目的が従来のタスク報酬よりも人間らしい行動を反映するのに優れているかどうかを特定すること。

提案手法

• 本研究では、4つの環境（アタリーゲームとマイクラフト）で26体のエージェントの多様なデータセットを収集し、合計20億フレーム以上の画像を含め、固定ベンチマークとしての評価に用いる。
• 画像を8×8ピクセルにダウンサンプリングし、各ピクセルを4値に離散化することで、内発的目的のための離散確率テンソルの計算を効率化する。
• 入力エントロピーは、学習された密度モデルを用いて感覚入力のレアリティを測定する。情報利得は、環境ダイナミクスにおける予測の改善度を測定する。エマワーパーメントは、エージェントが観測をどれだけ制御できるかを測定する。
• 全環境にわたってピアソン相関を用い、各内発的目的と2つの外部指標（タスク報酬と人間類似度）との間の相関係数を計算する。
• 既存のエージェント軌道を用いた後向き分析により、各目的ごとに新たなエージェントのオンライン学習を必要としない。
• 人間類似度は、エージェントの軌道と記録済みの人間プレイヤーの軌道を、行動整合性に基づく指標を用いて比較することで定量化する。

実験結果

リサーチクエスチョン

• RQ1 入力エントロピー、情報利得、エマワーパーメントといった内発的目的は、タスク報酬よりも人間行動とより強く相関するか？
• RQ2 内発的目的は、人間のように振る舞うエージェントを設計する際、タスク報酬よりも優れた代理指標として機能できるか？
• RQ3 異なる内発的目的は、多様な環境において行動の類似度に関してどのように関連しているか？
• RQ4 固定の事前収集済み行動データセットを用いることで、エージェントの再トレーニングなしに内発的目的を効率的に評価・比較することは可能か？

主な発見

• 入力エントロピーと情報利得は、全環境にわたって人間類似度とより強く相関しており（それぞれr = 0.89およびr = 0.79）、タスク報酬（r = 0.67）よりも強い。
• 3つの内発的目的すべてが、タスク報酬よりも人間類似度と高い相関を示しており、タスク報酬が人間らしい行動の信頼できる代理指標ではない可能性を示唆する。
• 入力エントロピーと情報利得は強い相互相関（r ≈ 0.7）を示しており、類似した行動的側面を測定していると考えられる。一方、エマワーパーメントは両者と相関が低く、異なる行動的側面を捉えている可能性を示している。
• 画像の離散化に基づく入力エントロピー、情報利得、エマワーパーメントの単純な実装が、人間類似度と強い相関を示しており、探索および評価における実用性を示唆する。
• 後向き評価フレームワークにより、オンライン学習を伴わず、内発的目的の比較が効率的に行えるようになり、反復時間の大幅な短縮が可能になった。
• エマワーパーメントは人間類似度と最も弱い相関（r = 0.66）を示しており、オープンエンドな環境では人間の行動パターンと一致しにくい可能性がある。