[論文レビュー] TempoRL: Learning When to Act

André Biedenkapp, Raghu Rajan+2 more|arXiv (Cornell University)|Jun 9, 2021

Reinforcement Learning in Robotics参考文献 35被引用数 6

ひとこと要約

TempoRLは、MDPにスキップ接続を導入することで、エージェントが*何を*実行するかと*いつ*新しい意思決定を行うかを同時に学習する予測型強化学習フレームワークを提案する。これにより、複数ステップにわたり同じ行動を継続できるようになり、標準DQNと比較して最大10倍の高速な学習が実現され、サンプル効率と解釈可能性が向上する。

ABSTRACT

Reinforcement learning is a powerful approach to learn behaviour through interactions with an environment. However, behaviours are usually learned in a purely reactive fashion, where an appropriate action is selected based on an observation. In this form, it is challenging to learn when it is necessary to execute new decisions. This makes learning inefficient, especially in environments that need various degrees of fine and coarse control. To address this, we propose a proactive setting in which the agent not only selects an action in a state but also for how long to commit to that action. Our TempoRL approach introduces skip connections between states and learns a skip-policy for repeating the same action along these skips. We demonstrate the effectiveness of TempoRL on a variety of traditional and deep RL environments, showing that our approach is capable of learning successful policies up to an order of magnitude faster than vanilla Q-learning.

研究の動機と目的

• 反応型強化学習の限界、すなわち*いつ*新しい意思決定を行うかを学習できないという点を是正すること。
• 行動の繰り返しによる時間的抽象化を可能にすることで、細かい制御と粗い制御を併せ持つ環境における学習効率を向上させること。
• 環境の構造や最適なスキップ長についての事前知識なしに意思決定タイミングを学習する手法を開発すること。
• エージェントが新しい行動が必要な重要な状態を示せるようにすることで、解釈可能性を向上させること。

提案手法

• MDPフレームワークにスキップ接続を導入し、エージェントが複数の連続する状態で同じ行動を繰り返せるようにする。
• エージェントが行動にどのくらいの期間を割り当てるかを決定するスキップ方策を学習するスキップMDPの定式化を行う。
• 行動方策とスキップ長選択を同時に最適化する階層的学習メカニズムを採用する。
• 標準的な深層Qネットワーク（DQN）と関数近似を用い、損失関数を修正することで両方の方策をエンドツーエンドで訓練する。
• フレームスキップに類似した挙動を示すが、固定されたスキップ長ではなく、動的にスキップ長を学習する。
• DQNと同様に経験再生とターゲットネットワークを用いて学習を安定化させるが、スキップステップによる拡張された時間的文脈を活用する。

実験結果

リサーチクエスチョン

• RQ1 予測型RLエージェントは、環境の構造についての事前知識なしに*いつ*新しい意思決定を行うかを学習できるか？
• RQ2 行動のスキップを学習することで、表形式およびディープRLの両設定においてサンプル効率と収束速度が向上するか？
• RQ3 固定されたフレームスキップやオプションベースの手法と比較して、動的にスキップ長を学習できる能力はどのように優れているか？
• RQ4 複雑な環境において、重要な意思決定状態を特定できるようにすることで、TempoRLは解釈性をどの程度向上させるか？
• RQ5 探索戦略、ネットワークアーキテクチャ、最大スキップ長のハイパーパrameterの変化に対して、TempoRLはどの程度頑健か？

主な発見

• TempoRLは、グリッドワールドやアーケードゲームを含む複数の環境で、標準DQNと比較して最大10倍の高速な学習を達成した。
• より長い、学習されたスキップシーケンスを通じてより良い探索が可能になることから、サンプル効率が著しく向上した。
• マウンテンカーモデルでは、十分な運動量が得られると、エージェントが最大10ステップの長いスキップを学習し、方向転換後に高いスキップ長を維持する。
• Qbertでは、エージェントが大きなスキップを用いて対角線のプラットフォームを効率的に点灯させ、必要な意思決定回数を削減した。
• 可視化により、重要な意思決定ポイントが明確に特定可能であり、重要でない状態では不要な行動を回避するスキップ方策が学習された。
• 細かい制御が必要な環境でも、DQN、DAR、FiGARといったベースライン手法を上回る学習速度と最終的なパフォーマンスを達成した。