[論文レビュー] Deep Reinforcement Learning Discovers Internal Models

Nir Baram, Tom Zahavy+1 more|arXiv (Cornell University)|Jun 16, 2016

Reinforcement Learning in Robotics参考文献 16被引用数 3

ひとこと要約

本論文は、DQNの活性化のt-SNE可視化における時間的感度クラスタリングを用いて、深層強化学習方策から階層的空間時間的構造（スキルやサブゴールなど）を自動で抽出する半集約マルコフ決定過程（SAMDP）を導入する。この手法により、解釈可能な方策分析が可能となり、方策の失敗が予測された際にエキスパートの干渉を引き起こす共有自律メカニズムによって、アタリゲームで最大36％のスコア向上が達成された。

ABSTRACT

Deep Reinforcement Learning (DRL) is a trending field of research, showing great promise in challenging problems such as playing Atari, solving Go and controlling robots. While DRL agents perform well in practice we are still lacking the tools to analayze their performance. In this work we present the Semi-Aggregated MDP (SAMDP) model. A model best suited to describe policies exhibiting both spatial and temporal hierarchies. We describe its advantages for analyzing trained policies over other modeling approaches, and show that under the right state representation, like that of DQN agents, SAMDP can help to identify skills. We detail the automatic process of creating it from recorded trajectories, up to presenting it on t-SNE maps. We explain how to evaluate its fitness and show surprising results indicating high compatibility with the policy at hand. We conclude by showing how using the SAMDP model, an extra performance gain can be squeezed from the agent.

研究の動機と目的

• 訓練済みDRL方策内に、手動による特徴工学を用いずに、スキルやサブゴールなどの内部階層的構造を自動で発見すること。
• 状態表現における空間的・時間的抽象化を同定することで、DRLエージェントの行動を人間が解釈可能な説明で提供するモデルの開発。
• SAMDPモデルを用いて高リスクな方策行動を検出し、干渉する共有自律フレームワークを通じてパフォーマンスを向上させること。
• 価値関数の一貫性や方策報酬相関といった定量的基準を用いて、抽出されたモデルの忠実度を評価すること。

提案手法

• DQNニューラル活性化軌跡からt-SNEマップを構築し、状態表現を低次元空間に可視化する。
• 時間的感度クラスタリングアルゴリズムを適用して、明確なスキルやサブゴールを表す半集約状態に状態をグループ化する。
• 軌跡からの経験的推定を通じて遷移確率と報酬関数を推定し、SAMDPモデルを構築する。
• 3つの評価基準を用いる：価値関数の一貫性（VMSE）、グリーディ方策行動と軌跡報酬との相関、方策遷移と高報酬軌跡（T⁺）・低報酬軌跡（T⁻）との相関。
• 共有自律メカニズムを実装：T⁻（低報酬行動に類似する軌跡）の尤度がT⁺（高報酬行動に類似する軌跡）を上回る場合、「エクスプロイド（Eject）」ボタンを起動して終了・干渉を実行する。
• SAMDPモデルを用いて方策の失敗しやすい状態を予測し、DQNの再訓練を伴わずにエキスパートの干渉を誘導する。

実験結果

リサーチクエスチョン

• RQ1 状態活性化軌跡のみを用いて、データ駆動型で自動的に意味のあるスキルやサブゴールをDQN方策内で特定できるか？
• RQ2 SAMDPモデルは、元のMDPの真のダイナミクスと報酬構造をどれほど的確に捉えているか？
• RQ3 SAMDPモデルは、DQN方策が失敗する可能性が高いと予測できるか。これにより、適切なタイミングでのエキスパート干渉が可能か？
• RQ4 SAMDPモデルは、元のDQNエージェントの再訓練を伴わずに、どの程度パフォーマンスを向上させられるか？

主な発見

• SAMDPモデルは、方策が失敗すると予測された際にエキスパート干渉を引き起こすことで、Breakoutで平均36％のパフォーマンス向上を達成した。
• モデルは高い価値関数の一貫性を示し、DQNのQ値とSAMDPによる予測値との間で、状態全体にわたり高い相関（VMSE）を示した。
• グリーディ方策行動と高報酬軌跡との間に正の相関（平均 corr_i > 0）が観察され、モデルの一貫性が確認された。
• グリーディ方策の遷移行列は、高報酬軌跡（T⁺）よりも低報酬軌跡（T⁻）とより強く相関しており、モデルの忠実度が裏付けられた。
• 手動によるラベル付けや教師あり学習を一切行わずしても、明確な開始・終了集合を持つwell-definedなスキルを効果的に同定できた。
• 再訓練を伴わずにパフォーマンス向上を達成したため、内部モデルの発見を活用した共有自律の実現可能性が示された。