[論文レビュー] Re-understanding Finite-State Representations of Recurrent Policy Networks

Mohamad H. Danesh, Anurag Koul+2 more|arXiv (Cornell University)|Jun 6, 2020

Social Policy and Reform Studies被引用数 5

ひとこと要約

本稿では、量子化されたRNNから導出された最小化されていない有限状態機械（FSM）を分析することで、再帰的方策ネットワークのための新たな解釈可能性手法を提案する。この手法は、意味的に重要な意思決定ポイントを保持する。従来の手法がFSMを最小化し戦略的洞察を曇らせていたのに対し、本手法は解釈可能な還元、微分的アテンション、機能的プルーニングを用い、Atari方策が実質的にプルーニングされたオープンループ制御器であることを明らかにする。観測値は戦略的意思決定にほとんど寄与していない。

ABSTRACT

We introduce an approach for understanding control policies represented as recurrent neural networks. Recent work has approached this problem by transforming such recurrent policy networks into finite-state machines (FSM) and then analyzing the equivalent minimized FSM. While this led to interesting insights, the minimization process can obscure a deeper understanding of a machine's operation by merging states that are semantically distinct. To address this issue, we introduce an analysis approach that starts with an unminimized FSM and applies more-interpretable reductions that preserve the key decision points of the policy. We also contribute an attention tool to attain a deeper understanding of the role of observations in the decisions. Our case studies on 7 Atari games and 3 control benchmarks demonstrate that the approach can reveal insights that have not been previously noticed.

研究の動機と目的

• 最小化された有限状態機械（FSM）が再帰的方策ネットワークの解釈に限界をもたらす問題に対処する。最小化により意味的に異なる状態が融合され、意思決定の本質が損なわれるためである。
• アテンションベースの解析における主観的要因や誤解の可能性を克服するため、より構造的で解釈可能なFSMベースのフレームワークを導入する。
• 特に複雑な制御タスクにおいて、RNN方策のFSM表現における意思決定論理と戦略的意味を保持する技術を開発する。
• 観測値が方策意思決定において戦略的に意味のある役割を果たしているのか、それとも非コンパクトな方策学習に起因する副産物にすぎないのかを調査する。
• 機能的プルーニングを用いて、観測値に依存する分岐が本当に必要かどうかをテストし、方策が真に反応的であるのか、それとも実質的にオープンループ制御器であるかを明らかにする。

提案手法

• 訓練済みの再帰的方策ネットワーク（RNN）の観測値とメモリを離散状態に量子化し、未最小化のムーア機械（MM）表現を構築する。
• 解釈可能な還元を適用してFSMの可視化を圧縮するが、分岐状態と意思決定論理を保持する。例えば、非分岐状態の連鎖を抽象的遷移に置き換える。
• 微分的アテンション機構を導入し、分岐状態における意思決定に最も影響を与える入力特徴を特定する。これにより、観測値の関連性に関する洞察が得られる。
• 各意思決定ポイントで分岐を1つだけ残してすべての他の分岐を削除することで、機能的プルーニングを実行する。これにより、観測値に依存する分岐が戦略的に必要かどうかをテストする。
• 得られた簡略化されたFSMを用いて方策行動を分析し、観測値依存の分岐がなければ性能が維持されるかどうかを評価する。
• 7つの決定的Atariゲームと3つの連続制御ベンチマークで、本手法の有効性を検証し、先行のアテンションベース手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 Atariゲームで学習された再帰的方策ネットワークにおいて、FSM解析によって観測値がどの程度戦略的役割を果たしているか。
• RQ2 未最小化されたFSM表現は、最小化されたFSMでは見えにくくなる意味的に重要な意思決定ポイントを保持できるか。
• RQ3 観測値に対するアテンションマップは、戦略的重要性の信頼できる指標であるか。あるいは、直感に反する特徴重み付けにより誤解を招く可能性はないか。
• RQ4 決定的環境における再帰的方策は、観測値に依存する戦略を学習するのか、それとも実質的にオープンループ制御器に還元されるのか。
• RQ5 機能的プルーニングにより、観測値に依存する分岐が本質的であるか、それとも非コンパクトな方策学習に起因する副産物にすぎないかを特定できるか。

主な発見

• 解析されたすべてのAtari方策は、各意思決定ポイントで分岐を1つだけ残すと性能が維持されることから、プルーニングされたオープンループ制御器であると判明した。
• 微分的アテンション機構により、Atariゲームにおいては観測値が戦略的意味のある意思決定にほとんど使われていないことが明らかになった。アテンションは直感に反する、または冗長な特徴に集中していた。
• Acrobot や Lunar Lander などの連続制御タスクでは、FSMが解釈可能な意思決定論理を示した。例えば、行動選択に速度に基づく閾値が使われていた。
• Lunar Lander では、初期の意思決定ポイントで速度特徴がエンジン発火行動の選択に使われており、位置や脚の状態は無視されていた。これは戦略的な初期安定化段階を示している。
• 確率的環境では、FSMが大きくなり破綻しやすくなり、現在の量子化手法の限界、あるいは方策が最近傍型の方法で行動をエンコードしている可能性を示唆した。
• Lunar Lander のような複雑で確率的な環境では、機能的プルーニングが効果を示さなかった。これは、観測値がこのようなタスクにおいて強い戦略的役割を果たしていることを示しており、決定的Atariゲームとは対照的であった。