[論文レビュー] Adapting Behaviour via Intrinsic Reward: A Survey and Empirical Study

Cam Linke, Nadia M. Ady+3 more|arXiv (Cornell University)|Jun 19, 2019

Reinforcement Learning in Robotics参考文献 79被引用数 9

ひとこと要約

本稿では、学習進捗に基づく内発的報酬を用いた強化学習フレームワークを提案し、効率的なマルチ予測学習のためのエージェント行動の適応を実現する。個々の学習者を内省的とすることで（進捗に基づいて学習率を調整）、重みの変化（Weight Change）のような単純な内発的報酬が、複雑な代替手法を上回り、最小限のハイパーパrameterチューニングで、報酬が疎な環境でも効果的な探索と安定した学習を可能にする。

ABSTRACT

Learning about many things can provide numerous benefits to a reinforcement learning system. For example, learning many auxiliary value functions, in addition to optimizing the environmental reward, appears to improve both exploration and representation learning. The question we tackle in this paper is how to sculpt the stream of experience---how to adapt the learning system's behavior---to optimize the learning of a collection of value functions. A simple answer is to compute an intrinsic reward based on the statistics of each auxiliary learner, and use reinforcement learning to maximize that intrinsic reward. Unfortunately, implementing this simple idea has proven difficult, and thus has been the focus of decades of study. It remains unclear which of the many possible measures of learning would work well in a parallel learning setting where environmental reward is extremely sparse or absent. In this paper, we investigate and compare different intrinsic reward mechanisms in a new bandit-like parallel-learning testbed. We discuss the interaction between reward and prediction learners and highlight the importance of introspective prediction learners: those that increase their rate of learning when progress is possible, and decrease when it is not. We provide a comprehensive empirical comparison of 14 different rewards, including well-known ideas from reinforcement learning and active learning. Our results highlight a simple but seemingly powerful principle: intrinsic rewards based on the amount of learning can generate useful behavior, if each individual learner is introspective.

研究の動機と目的

• 環境的報酬が疎または存在しないマルチ予測強化学習設定において、内発的報酬が行動をどのように導くかを調査すること。
• 共有された経験を用いた並列学習設定において、さまざまな内発的報酬メカニズムの有効性を評価すること。
• 進捗に基づいて学習率を自己調整する内省的学習者（introspective learners）が、内発的報酬システムのパフォーマンスを向上させるかどうかを特定すること。
• マルチ予測シナリオにおける内発的報酬メカニズムのテストに適した、新しいバンディット風のベンチマークを開発・検証すること。
• 複雑な内発的報酬が不可欠であるという仮定に挑戦し、代わりに単純でパラメータフリーの報酬が、内省的学習者と組み合わせることで効果的である可能性を提唱すること。

提案手法

• 補助価値関数学習者による学習進捗から導かれる内発的報酬を最大化する強化学習問題として、マルチ予測学習を定式化する。
• アクティブラーニング、キュリオシティ、予測誤差の概念を含む14種類の異なる内発的報酬メカニズムを定義し、並列学習に適応した形で拡張する。
• エージェントがノイズの多い状態を避けること、非定常的ダイナミクスを追跡すること、一貫した学習進捗を求めることが必要な、新しいバンディット風のテストベッドを実装する。
• 十分な探索を保証するための確率的行動方針を用い、内発的報酬がすべての予測学習者における学習最適化を促進するように行動選択を形作る。
• 内省的学習者の概念を導入する：進捗が得られているかどうかに応じて、自身の学習率を調整する学習者であり、Adamのような適応的最適化手法を用いる。
• 14種類のすべての内発的報酬を、制御された実験的評価で評価し、学習効率、安定性、およびノイズの多い状態でのダラダラとすることなどの退化行動の回避を測定する。

実験結果

リサーチクエスチョン

• RQ1 重みの変化（Weight Change）のような、学習進捗に基づく単純な内発的報酬が、より複雑な内発的報酬メカニズムを上回るのか、マルチ予測学習において有効であるか？
• RQ2 個々の学習者の内省的機能（進捗に基づく学習率の自己調整）が、内発的報酬システムのパフォーマンスに与える影響は何か？
• RQ3 学習進捗を測定する内発的報酬が、報酬が疎または遅延する環境でも効果的な行動を引き出すのか？
• RQ4 どの内発的報酬メカニズムが、ノイズの多いまたは情報のない状態でのダラダラとすることといった退化行動を最も効果的に回避できるか？
• RQ5 単純でパラメータフリーの内発的報酬が、内省的学習者と組み合わせることで、効果的なマルチ予測学習に十分であるか？

主な発見

• ベンチマークにおいて、学習量（特に重みの変化）に基づく内発的報酬が、最も高い全体的なパフォーマンスを達成し、より複雑な報酬メカニズムを上回った。
• 進捗に基づいて学習率を自己調整する内省的学習者が、安定的かつ効果的な学習を実現するために不可欠であった。それらが存在しない場合、単純な報酬ですら退化行動を引き起こした。
• 重みの変化（Weight Change）内発的報酬は、ネットワーク重みの更新前の差分の正規化された絶対値を測定するものであり、テストされたすべての環境で一貫して有用な行動を誘発した。
• 本研究では、複雑な内発的報酬が必ずしも優れたパフォーマンスをもたらすわけではないことが判明した。むしろ、内省的学習者と組み合わせることで、単純で学習に基づく報酬が最も効果的である。
• ベンチマークの結果から、内発的報酬が実際に学習進捗を反映している場合、エージェントは非定常的Outcomeを効果的に追跡し、ノイズの多い状態を避けることができた。
• 結果から、将来的には高度な内発的報酬の設計に注力するよりも、基本的な学習者の内省的機能を強化することに注力すべきであるというパラダイムシフトが示唆された。