[論文レビュー] Learning Adaptive Exploration Strategies in Dynamic Environments Through Informed Policy Regularization

Pierre-Alexandre Kamienny, Matteo Pirotta+4 more|arXiv (Cornell University)|May 6, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 9

ひとこと要約

本論文では、動的で非定常な環境において、強い汎化性と適応性を維持しながら、サンプルの複雑さを顕著に低減する、RNNベースの探索方策を訓練するための新しい正則化手法であるIMPORTを提案する。この手法は、タスク固有のインフォームド方策からの教師信号を活用することで、トムソン・サブミッションやタスク推論といった先行手法よりも、特にタスクの変化や限られた特権情報下で、より高速かつより安定した学習を達成する。

ABSTRACT

We study the problem of learning exploration-exploitation strategies that effectively adapt to dynamic environments, where the task may change over time. While RNN-based policies could in principle represent such strategies, in practice their training time is prohibitive and the learning process often converges to poor solutions. In this paper, we consider the case where the agent has access to a description of the task (e.g., a task id or task parameters) at training time, but not at test time. We propose a novel algorithm that regularizes the training of an RNN-based policy using informed policies trained to maximize the reward in each task. This dramatically reduces the sample complexity of training RNN-based policies, without losing their representational power. As a result, our method learns exploration strategies that efficiently balance between gathering information about the unknown and changing task and maximizing the reward over time. We test the performance of our algorithm in a variety of environments where tasks may vary within each episode.

研究の動機と目的

• 時間とともに変化するタスクを伴う動的で非定常な環境において、効果的な探索・活用方策を訓練する課題に対処すること。
• RNNベースの方策の訓練にかかる過大なサンプル複雑さを低減しつつ、その表現能力を損なわないようにすること。
• 訓練中にRNNとタスクインフォームド方策の長所を統合することで、効率的なオンライン適応を可能にすること。
• 未観測のタスクへの汎化性と、不要またはノイズ混じりのタスク記述子に対するロバスト性を向上させること。

提案手法

• IMPORTは、観測値に加えてタスク埋め込みまたはRNN隠れ状態のいずれかを入力とする共有方策ヘッドを訓練し、RNNとインフォームド方策の共同学習を可能にする。
• 訓練時、タスク記述子を入力としてインフォームド方策を訓練し、その出力をRNN方策の正則化に用いる教師信号として利用する。
• RNN方策は、インフォームド方策の行動を模倣することを促す損失関数によって正則化され、訓練の安定性と収束速度が向上する。
• テスト時、タスク記述子はRNNの隠れ状態に置き換えられ、真のタスクにアクセスせずにエージェントが行動可能になる。
• エージェントは、既知の記述子を備えたタスクの集合で訓練されるマルチタスク学習設定を採用しており、未観測のタスクへの汎化を可能にする。
• 本手法は、スパarsely報酬の探索タスクと非定常な制御問題の組み合わせを用いて評価されており、変更されたCartPoleや迷路ナビゲーション環境が含まれる。

実験結果

リサーチクエスチョン

• RQ1 訓練時にタスク固有のインフォームド方策を活用することで、動的環境におけるRNNベース方策の訓練をより効率的に行えるか？
• RQ2 インフォームド方策を用いた方策正則化は、トムソン・サブミッションやタスク推論と比較して、サンプル効率性と性能においてどのように異なるか？
• RQ3 限られた特権情報での学習において、RNN方策が未観測のタスクにどの程度汎化できるか？
• RQ4 既存手法と比較して、不要または最小限の情報しか含まないタスク記述子に対して、本手法はどの程度ロバストか？

主な発見

• すべての環境において、IMPORTはRNNおよびタスク推論（TI）よりも高速に学習を達成し、特に迷路ナビゲーションタスクで顕著なサンプル複雑さの低減が見られた。
• 非定常環境では、IMPORTはTSおよびTIを上回り、エピソード内でのタスク変化への適応性が優れていることが示された。
• 訓練時に少数のタスクインスタンスしか使用しなくても、IMPORTは未観測タスクへの汎化を効果的に行い、ゼロショット一般化設定でもTSおよびTIを上回った。
• 本手法は、不要またはノイズ混じりのタスク記述子に対してもロバストである一方、TIの性能はそのような条件下で著しく低下した。
• β > 0（正則化あり）のIMPORTはβ = 0（正則化なし）よりも高速に学習を達成しており、インフォームド方策からの補助教師損失の有効性が裏付けられた。
• 一般化実験では、4×10⁶ステップを過ぎてオーバーフィッティングが観察されたことから、訓練タスクの記憶と新しいタスクへの一般化の間にはトレードオフがあることが示された。