[論文レビュー] Input Switched Affine Networks: An RNN Architecture Designed for Interpretability

Jakob Foerster, Justin Gilmer+3 more|arXiv (Cornell University)|Nov 28, 2016

Network Security and Intrusion Detection被引用数 7

ひとこと要約

この論文は、非線形性を用いず、入力に依存するアフィン変換を用いる再帰的ニューラルネットワークアーキテクチャである入力スイッチドアフィンネットワーク（ISAN）を紹介する。このモデルは、入力寄与の正確な線形解析、完全な逆設計、および事前計算可能なアフィン合成による顕著な計算効率性を実現しながら、言語モデリングタスクで競争力ある性能を達成する。

ABSTRACT

There exist many problem domains where the interpretability of neural network models is essential for deployment. Here we introduce a recurrent architecture composed of input-switched affine transformations - in other words an RNN without any explicit nonlinearities, but with input-dependent recurrent weights. This simple form allows the RNN to be analyzed via straightforward linear methods: we can exactly characterize the linear contribution of each input to the model predictions; we can use a change-of-basis to disentangle input, output, and computational hidden unit subspaces; we can fully reverse-engineer the architecture's solution to a simple task. Despite this ease of interpretation, the input switched affine network achieves reasonable performance on a text modeling tasks, and allows greater computational efficiency than networks with standard nonlinearities.

研究の動機と目的

• モデルの意思決定が理解可能である必要がある重要な応用分野向けに、内在的な解釈性を備えた再帰的ニューラルネットワークアーキテクチャを設計すること。
• 後処理による解釈手法に依存せずに、各入力がモデル出力に与える寄与を正確に線形代数的に分析できることを実現すること。
• 非線形性を排除することでモデルダイナミクスの曇りを回避しつつ、言語モデリングタスクで妥当な性能を維持すること。
• 入力シーケンスの事前計算可能なアフィン変換を通じて、計算効率を高めること。
• カウンティングやネストされた括弧の数え上げといった、複雑な動的行動が、線形系において完全に逆設計可能であることを示すこと。

提案手法

• ISANは入力スイッチドアフィン変換を用いる：各時刻において、入力が学習済みパラメータ群から特定の遷移行列とバイアスベクトルを選択する。
• 隠れ状態は線形かつ時変な更新を経て進化する：$\mathbf{h}_t = \mathbf{W}_x \mathbf{h}_{t-1} + \mathbf{b}_x$、ここで$\mathbf{W}_x$と$\mathbf{b}_x$は入力$x$に応じて選択される。
• 出力は線形リーディングアウトにより計算される：$\mathbf{y}_t = \mathbf{W}_{\text{readout}} \mathbf{h}_t + \mathbf{b}_{\text{readout}}$、その後に分類用にソフトマックスが適用される。
• 変換の基底を変更する手法を用いて、入力、出力、隠れ状態の部分空間を分離し、入力寄与の正確な分解を可能にする。
• シーケンス全体におけるアフィン変換の合成は自身がアフィンであるため、入力文字列全体の変換を事前計算可能となり、推論を高速化できる。
• 複数の括弧数え上げタスクにおいて、ISANの解法が完全に逆設計可能であり、ネットワーク内部のダイナミクスが解析的に理解可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 非線形性を明示的に持たない再帰的ネットワークでも、言語モデリングタスクで競争力ある性能を達成できるか？
• RQ2 線形代数的手法を用いて、入力がモデル出力に与える寄与をどの程度正確に分解・分析できるか？
• RQ3 メモリやカウンティングを要するタスクにおいて、再帰的モデルの内部ダイナミクスを完全に逆設計できるか？
• RQ4 標準的なRNNと比較して、入力スイッチドアフィンダイナミクスは、計算効率およびメモリ使用量においてどのように差が現れるか？
• RQ5 入力シーケンスのアフィン変換を事前計算することで、推論における著しい高速化が達成できるか？

主な発見

• ISANは、同じ最大パラメータ数のもとでText8データセットにおいてLSTMと同等の性能を達成し、その線形性にもかかわらず強力なモデル表現能力を示した。
• モデルは、各入力が最終予測に与える線形的寄与を正確に特徴づけられ、入力の影響の完全な解釈性を実現した。
• 基底変換を用いることで、ISANは入力、出力、隠れ状態の部分空間を分離し、各コンponentが果たす明確な構造的役割を明らかにした。
• 複数の括弧数え上げタスクにおいて、ISANの解法は完全に逆設計可能であり、ネットワーク内部のダイナミクスが解析的に理解可能であることを示した。
• 非スイッチドアーキテクチャと比較して、ISANは計算量で$O(K)$、メモリ使用量で$O(\sqrt{K})$の理論的高速化を達成した。ここで$K$は入力記号の数である。
• 共通する入力シーケンスのアフィン変換を事前計算することで、1シーケンスあたりの推論コストを1文字分の更新コストにまで低減でき、繰り返しまたは長大なシーケンスにおいて顕著な高速化が可能となった。