[論文レビュー] Internal Model from Observations for Reward Shaping

Daiki Kimura, Subhajit Chaudhury+2 more|arXiv (Cornell University)|Jun 2, 2018

Reinforcement Learning in Robotics参考文献 28被引用数 13

ひとこと要約

本論文では、報酬関数が疎または利用不可である状況において、報酬関数のない状態遷移（例：ゲーム動画）から内部予測モデルを学習する強化学習手法を提案する。行動ラベルが不要で、実際の状態と予測された状態の乖離を測ることで、専門家による模倣行動に近づくように報酬を形状化し、Super Mario Bros や Flappy Bird などの環境で、スパース報酬や手作業で設計された報酬よりも高速かつ安定した学習を達成する。

ABSTRACT

Reinforcement learning methods require careful design involving a reward function to obtain the desired action policy for a given task. In the absence of hand-crafted reward functions, prior work on the topic has proposed several methods for reward estimation by using expert state trajectories and action pairs. However, there are cases where complete or good action information cannot be obtained from expert demonstrations. We propose a novel reinforcement learning method in which the agent learns an internal model of observation on the basis of expert-demonstrated state trajectories to estimate rewards without completely learning the dynamics of the external environment from state-action pairs. The internal model is obtained in the form of a predictive model for the given expert state distribution. During reinforcement learning, the agent predicts the reward as a function of the difference between the actual state and the state predicted by the internal model. We conducted multiple experiments in environments of varying complexity, including the Super Mario Bros and Flappy Bird games. We show our method successfully trains good policies directly from expert game-play videos.

研究の動機と目的

• 強化学習における報酬関数が疎または存在しないという課題に対処すること。
• 行動シーケンスへのアクセスがなく、専門家の状態遷移のみから模倣学習を可能にすること。
• 内部予測モデリングを用いてポリシー学習をガイドする報酬形状化手法を開発すること。
• 動画デモからのみ、密度の高い内在的報酬を導出できることを実証し、効果的な強化学習訓練を可能にすること。

提案手法

• エージェントは、専門家のプレイ動画からの状態シーケンスから次のフレームを予測する3D-CNNベースの内部モデルを学習する。
• 内部モデルは、行動情報や報酬情報なしに、状態遷移シーケンスのみを用いて訓練される。
• 強化学習の実行中、実際の次の状態と内部モデルによる予測状態との間のL2距離の負の値を報酬として計算する。
• 自明な解（例：初期状態で静止し続ける）を防ぐために、しきい値処理が適用される。
• 報酬関数は密度的かつ内在的であるように設計されており、専門家の類似した状態遷移に従うよう促進する。
• 本手法は、Super Mario Bros や Flappy Bird などの環境で、DQN、DDPG、PPO を用いて評価され、動画デモのみが利用可能である。

実験結果

リサーチクエスチョン

• RQ1 報酬信号や行動ラベルが一切ない状態で、専門家の状態遷移（ゲーム動画）からのみ、良いポリシーを学習できるか？
• RQ2 内部モデル予測に基づく報酬形状化手法の性能は、手作業で設計された密度的報酬や好奇心ベースの手法と比べてどうか？
• RQ3 内部モデルが、スパース報酬よりも高速かつ安定した学習を可能にする意味のある密度的で意味のある報酬信号を生成できるか？
• RQ4 異なるタスクの複雑さを持つ環境間で、内部モデルの一般化性能はどの程度達成できるか？
• RQ5 ハイパーパrameter（例：しきい値 ζ）にどの程度感度を示し、モデルアーキテクチャの選択が性能に与える影響は何か？

主な発見

• 提案手法は、Super Mario Bros 環境において、手作業で設計された密度的報酬や好奇心ベースの手法よりも高速な学習収束を達成した。
• スパース報酬の場合、300万ステップ経過後も平均位置が650に留まり、ゴールに到達することが一貫してできなかったが、提案手法ではより信頼性高く優れた性能を達成した。
• 内部モデルに基づく報酬は、好奇心ベースやスコアベースの報酬よりも学習速度と最終的なポリシー品質の両面で優れていた。
• 行動ラベルや報酬信号が不要な状態で、動画デモのみを用いてエージェントを正常に訓練できた。
• しきい値 ζ の使用は、初期状態で静止するような自明なポリシーを防ぐために不可欠であった。
• 深層ネットワークや高解像度入力を用いることで性能が向上したため、さらなる最適化の余地があることが示唆された。