[論文レビュー] The Termination Critic

Anna Harutyunyan, Will Dabney+4 more|arXiv (Cornell University)|Feb 26, 2019

Reinforcement Learning in Robotics被引用数 19

ひとこと要約

本論文は、報酬に基づく価値最適化ではなく、状態符号化の圧縮可能性として定式化することで、オプションにおける終了条件の学習のための情報理論的目的関数を提案する。学習済みのオプション遷移モデルを『クライアント』として用いることで勾配を計算し、オプションの崩壊を回避する。この手法により、非自明で計画に効率的なオプションが得られ、基本的アクションや意思決定コストを考慮したA2OCなどの先行手法を上回る性能を発揮する。

ABSTRACT

In this work, we consider the problem of autonomously discovering behavioral abstractions, or options, for reinforcement learning agents. We propose an algorithm that focuses on the termination condition, as opposed to -- as is common -- the policy. The termination condition is usually trained to optimize a control objective: an option ought to terminate if another has better value. We offer a different, information-theoretic perspective, and propose that terminations should focus instead on the compressibility of the option's encoding -- arguably a key reason for using abstractions. To achieve this algorithmically, we leverage the classical options framework, and learn the option transition model as a "critic" for the termination condition. Using this model, we derive gradients that optimize the desired criteria. We show that the resulting options are non-trivial, intuitively meaningful, and useful for learning and planning.

研究の動機と目的

• 強化学習における有用な行動抽象化（オプション）を自動的に発見する課題に対処すること。
• オプション・クライアントなどの従来の手法で見られるオプションの崩壊（オプションが単一アクションのプリミティブに退化すること）を克服すること。
• 報酬に基づく終了目的から、オプション符号化の情報理論的圧縮可能性への焦点のシフトを図ること。
• 終了条件が意味のある少数の状態に集中するようにする訓練目的を開発し、計画の効率性を向上させること。
• 終了学習を報酬最適化から分離することで、終了品質の独立した分析を可能にすること。

提案手法

• 最小記述長の原則にインspiredされ、オプションの状態軌道の予測可能性（圧縮可能性）に基づく新しい終了目的を提案する。
• 古典的なオプションフレームワークに従い、オプション遷移モデルを『クライアント』として活用し、終了条件の質を推定する。
• オプションモデルの変化と終了条件の変化の関係を示す終了勾配定理を導出することで、エンドツーエンドの勾配ベース最適化を可能にする。
• 導出された勾配を用いて、方策勾配法により終了条件を学習する一方で、方策は標準の報酬目的関数に基づいて訓練する。
• モデルベースのクライアントを用いて、終了条件と方策を同時に最適化するオンラインのアクター・クリティック終了クライアント（ACTC）アルゴリズムを採用する。
• オプションモデルの遷移ダイナミクスのエントロピーに基づく損失関数を導入し、その最小化によって予測可能で圧縮可能なオプション行動を促進する。

実験結果

リサーチクエスチョン

• RQ1 圧縮可能性に基づく終了目的は、報酬に基づく目的よりもオプションの崩壊を効果的に防げるか？
• RQ2 予測可能性に基づく終了条件の学習は、計画や学習に役立つオプションを生成するか？
• RQ3 報酬形状付けやハイパーパramータに敏感なトレードオフに依存せずに、モデルベースのクライアントが終了学習を効果的にガイドできるか？
• RQ4 オプション軌道の予測可能性と下流の計画性能の相関関係は何か？
• RQ5 明示的な監視や報酬ベースの終了信号なしに、非自明で意味的に意味のあるオプションを学習できるか？

主な発見

• 提案されたACTCアルゴリズムは、方策が同じ報酬目的関数に基づいて訓練されても、オプションの崩壊を効果的に防止し、非自明なオプションを生成する。
• 圧縮可能性目的で学習されたオプションは、価値反復における収束が速く、予測可能性目的が低下するにつれて平均方策価値が上昇する。
• ACTCは、意思決定コストを考慮したA2OCを上回る計画性能を示し、より決定論的なランダムゴールオプションと同等またはそれを上回る性能を達成する。
• 情報理論的終了目的は計画効率と強く相関しており、圧縮可能性がオプション品質の妥当な代理指標であると考えられる。
• 学習済みモデルをクライアントとして用いることで、終了条件の勾配計算が効果的に行えるようになり、従来手法で見られるハイパーパramータへの感受性を回避できる。
• 定性的な分析により、学習されたオプションが直感的で目標指向の行動を示し、終了に向けた少数の状態に集中することが確認された。