[論文レビュー] Graying the black box: Understanding DQNs

Tom Zahavy, Nir Ben Zrihem+1 more|arXiv (Cornell University)|Feb 8, 2016

Reinforcement Learning in Robotics参考文献 38被引用数 58

ひとこと要約

本論文では、深層Qネットワーク（DQNs）を解釈するための手法を提案する。新たに考案された準集約マルコフ決定過程（SAMDP）モデルを用いて、階層的で時空間的な抽象化を同定する。データから自動的にSAMDPを学習することで、DQNsが状態の集約とオプションを暗黙的に学習していることが明らかになった。これは、DQNsの成功を説明するものであり、政策の解釈、デバッグ、および『イジェクト』機構による強化を通じて、性能がブレイクアウト、シーケスト、パックマンでそれぞれ36%、20%、4.7%向上することを可能にする。

ABSTRACT

In recent years there is a growing interest in using deep representations for reinforcement learning. In this paper, we present a methodology and tools to analyze Deep Q-networks (DQNs) in a non-blind matter. Moreover, we propose a new model, the Semi Aggregated Markov Decision Process (SAMDP), and an algorithm that learns it automatically. The SAMDP model allows us to identify spatio-temporal abstractions directly from features and may be used as a sub-goal detector in future work. Using our tools we reveal that the features learned by DQNs aggregate the state space in a hierarchical fashion, explaining its success. Moreover, we are able to understand and describe the policies learned by DQNs for three different Atari2600 games and suggest ways to interpret, debug and optimize deep neural networks in reinforcement learning.

研究の動機と目的

• 深層Qネットワーク（DQNs）における解釈可能性のギャップを解消すること。DQNsはアタリゲームでの成功にもかかわらず、しばしばブラックボックスとして扱われる。
• DQNsが明示的な設計なしに、いかに階層的な状態抽象化とオプションを暗黙的に学習しているかを理解すること。
• 学習された表現やダイナミクスを分析することで、DQN政策のデバッグと改善のためのツールを開発すること。
• SAMDPモデルを用いて、低性能な行動を検出し、介入する方法を提案し、DQN政策の耐性を高めること。
• 解釈可能でデータ駆動の抽象化を通じて、深層強化学習エージェントのより良い設計と最適化を可能にすること。

提案手法

• 真のMDPの近似としての準集約マルコフ決定過程（SAMDP）を提案し、状態ダイナミクスと時間的抽象化を捉える。
• DQNの経験リプレイデータから、状態表現と遷移ダイナミクスのクラスタリングを用いてSAMDPモデルを自動的に学習する。
• DQNが学習した特徴量にk-meansクラスタリングを適用して状態クラスタを特定し、その後各クラスタごとに遷移行列と報酬構造を推定する。
• ベクトル平均二乗誤差（VMSE）や、グリーディ方策と高報酬・低報酬の軌道間の相関といった指標を用いてSAMDPモデルの評価を行う。
• テスト軌道が低報酬（下位k個）の軌道よりも高報酬の軌道に由来する可能性が高い場合に、介入をトリガーする「イジェクト」機構を実装する。
• SAMDPモデルを用いて政策の劣化を検出し、深刻な状態では人間や上位エージェントに制御を返す。再トレーニングを伴わずに全体の性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 DQNsは、明示的な監視や設計なしに、どのように階層的な状態抽象化とオプションを暗黙的に学習しているのか？
• RQ2 DQNの表現から、構造的で解釈可能な環境モデルを自動的に発見できるか？そのモデルが政策行動を説明できるか？
• RQ3 学習されたSAMDPモデルが、DQN政策の解釈、デバッグ、改善にどの程度活用できるか？
• RQ4 SAMDPモデルは、DQN方策が失敗する可能性がある状況を検出でき、耐性向上のための介入を可能にするか？
• RQ5 SAMDPモデルを用いて低性能行動を自動検出する仕組みを組み合わせた場合、DQN方策の性能はどの程度向上するか？

主な発見

• DQNsは、状態空間を特徴量が支配する異なる部分多様体にマッピングすることで、階層的な状態抽象化を学習している。これにより、局所的な方策学習が可能になる。
• SAMDPモデルは、明確な初期状態と終了条件を持つ時間的抽象化とオプションを効果的に捉えており、DQNが複雑な環境で成功する理由を説明している。
• グリーディ方策と高報酬軌道間の相関は、低報酬軌道との相関よりも顕著に高く、モデルが高品質な行動を区別できることを検証している。
• 低報酬軌道に類似した行動が発生した場合に作動する「イジェクト」機構により、ブレイクアウトで36%、シーケストで20%、パックマンで4.7%の性能向上が達成された（再トレーニングなし）。
• SAMDPモデルにより、ニューラル活性化から導かれる解釈可能な論理ルールを用いてDQN方策の解釈が可能となり、デバッグや設計のインサイトが向上した。
• 本手法により、優先的経験リプレイとの統合など、学習リソースのより効果的な割り当てが可能となり、高価値な状態クラスタの特定が可能になった。