[論文レビュー] Learning Finite State Representations of Recurrent Policy Networks

Anurag Koul, Sam Greydanus+1 more|arXiv (Cornell University)|Nov 29, 2018

Reinforcement Learning in Robotics被引用数 29

ひとこと要約

本論文では、連続的RNNメモリおよび観測ベクトルを離散的モア・マシンに変換するため、量子化された潜在空間を用いて自己符号化器を訓練する方法であるQuantized Bottleneck Insertionを提案する。この手法により、性能を維持したままコンパクトで解釈可能なポリシー・モデルが得られ、メモリと観測の使用法に関する洞察が得られる。特に、Pongでは3つのメモリ状態という最小限の状態表現が実現され、合成タスクでは真の構造の正確な抽出が可能である。

ABSTRACT

Recurrent neural networks (RNNs) are an effective representation of control policies for a wide range of reinforcement and imitation learning problems. RNN policies, however, are particularly difficult to explain, understand, and analyze due to their use of continuous-valued memory vectors and observation features. In this paper, we introduce a new technique, Quantized Bottleneck Insertion, to learn finite representations of these vectors and features. The result is a quantized representation of the RNN that can be analyzed to improve our understanding of memory use and general behavior. We present results of this approach on synthetic environments and six Atari games. The resulting finite representations are surprisingly small in some cases, using as few as 3 discrete memory states and 10 observations for a perfect Pong policy. We also show that these finite policy representations lead to improved interpretability.

研究の動機と目的

• 高次元の連続的メモリおよび観測ベクトルによる高次元性のため、理解が難しいとされる再帰的ニューラルネットワーク（RNN）ポリシーの解釈性を向上させること。
• 意思決定に不可欠であるが、複雑なゲーティング機構のため透明性に欠けるRNNメモリ使用の分析課題に対処すること。
• 性能を維持しつつ、分析可能なコンパクトな有限状態表現を学習する手法を開発すること。
• RNNポリシーがメモリや観測に依存しているか、あるいは両者に依存しない状況を特定し、反応的かオープンループ制御かを明らかにすること。
• 抽出されたモア・マシンを通じて、ポリシー行動の可視化と形式的分析を可能にすること。

提案手法

• 連続的RNNメモリ状態および観測ベクトルを符号化するため、量子化された潜在表現を用いた自己符号化器としてのQuantized Bottleneck Networks（QBNs）を訓練する。
• QBNsを訓練済みRNNの連続的メモリおよび観測「ワイヤー」の代わりに挿入し、離散的状態を持つモア・マシン・ネットワーク（MMN）に変換する。
• 非微分可能な量子化ステップがあるため、勾配の「ストレートスラッシュ」推定器を用いてQBNsを訓練する。
• 同等状態のクラスタリングと標準的な有限状態機械（FSM）最小化技術を用いて、MMNからモア・マシンを抽出する。
• 量子化によって生じる不正確さを是正するため、抽出されたモア・マシンを微調整する。
• 抽出された有限状態機械の可視化と分析を通じて、メモリと観測の使用パターンを解釈する。

実験結果

リサーチクエスチョン

• RQ1 性能を維持しつつ解釈性を高める有限状態表現をRNNポリシーから学習できるか？
• RQ2 正確に訓練済みRNNポリシーを表現するために必要な最小の離散的メモリ状態数と観測特徴数は何か？
• RQ3 アタリゲームにおいて、RNNポリシーは主にメモリ、観測、あるいは両者に依存しているか？ これは反応的制御かオープンループ制御かを示唆する。
• RQ4 制御されたメモリ使用を持つ合成環境において、本手法は既知の真のモア・マシンを正確に回復できるか？
• RQ5 抽出されたモア・マシンの構造を分析することで、ポリシー行動に関するどのような洞察が得られるか？

主な発見

• 合成環境において、既知のメモリ構造を持つ真のモア・マシンが正確に抽出された。これは表現学習の正確性を示している。
• アタリゲームにおいて、微調整後の性能低下を最小限に抑えつつ、抽出されたモア・マシンは元のRNNポリシーとほぼ同等の性能を達成した。
• Pongのポリシーでは、完全な性能を達成するためにたった3つの離散的メモリ状態と10の観測で十分であった。これは極めてコンパクトなメモリ使用を示している。
• ボウリングとフリーウェイでは、分析によりRNNがメモリをほとんど使用せず、観測を完全に無視していることが判明し、反応的またはオープンループ制御戦略であると示された。
• スペースインベーダーズとボクシングでは、抽出されたモア・マシンの構造から、メモリと観測の両方が意味的に使用されていることが確認された。
• 本手法により、RNNの動作を直接観察するだけでは見えなかったポリシー行動のパターン、例えば特定のゲームで意味的なメモリ使用がないことなど、新たな洞察が得られた。