[論文レビュー] Intelligible Language Modeling with Input Switched Affine Networks

Jakob Foerster, Justin Gilmer+3 more|arXiv (Cornell University)|Nov 5, 2016

Topic Modeling参考文献 31被引用数 8

ひとこと要約

この論文は、非線形性を排除しながら準SOTAの言語モデリング性能を達成する入力スイッチドアフィンRNNアーキテクチャを提案する。計算速度と解釈可能性を高めるために事前計算されたアフィン変換が用いられる。モデルは隠れ状態のダイナミクスの完全な線形解析を可能とし、語の境界を超えた文脈の伝達と、任意の基底での実行を可能とし、標準RNNと同等の精度を維持しながら、類いまれな解釈可能性を提供する。

ABSTRACT

The computational mechanisms by which nonlinear recurrent neural networks (RNNs) achieve their goals remains an open question. There exist many problem domains where intelligibility of the network model is crucial for deployment. Here we introduce a recurrent architecture composed of input-switched affine transformations, in other words an RNN without any nonlinearity and with one set of weights per input. We show that this architecture achieves near identical performance to traditional architectures on language modeling of Wikipedia text, for the same number of model parameters. It can obtain this performance with the potential for computational speedup compared to existing methods, by precomputing the composed affine transformations corresponding to longer input sequences. As our architecture is affine, we are able to understand the mechanisms by which it functions using linear methods. For example, we show how the network linearly combines contributions from the past to make predictions at the current time step. We show how representations for words can be combined in order to understand how context is transferred across word boundaries. Finally, we demonstrate how the system can be executed and analyzed in arbitrary bases to aid understanding.

研究の動機と目的

• 臨床的・安全要件の厳しい環境に適した、高い解釈可能性を備えた再帰的言語モデルの開発。
• 非線形性を排除することで解析的理解を可能にしつつ、非線形RNNと同等の性能を達成すること。
• 変換の合成を事前計算することで、計算の高速化の可能性を提供すること。
• 線形代数的手法を用いて隠れ状態のダイナミクスを解析できること。
• 語の境界を超えた文脈の伝達と表現の組み合わせが、線形メカニズムによってどのように実現されるかを示すこと。

提案手法

• 各入力記号が異なる線形変換行列を活性化する入力スイッチドアフィン変換を採用する。
• 隠れ状態は、非線形活性化関数を用いずに、過去の状態と入力固有のアフィン写像の線形結合によって更新される。
• より長い入力系列の処理のため、効率性を高めるために、連続するアフィン変換の合成を事前計算する。
• 任意の基底での実行と解析を可能とし、解釈可能な表現の分解を可能にする。
• 線形手法を用いて、過去の文脈が現在の予測にどのように寄与するか、および語の表現がどのように組み合わされるかを分析する。
• パラメータ数が標準RNNと同一であるため、直接的な性能比較が可能である。

実験結果

リサーチクエスチョン

• RQ1 入力スイッチドアフィン層を備えた非線形性のないRNNは、標準の非線形RNNと同等の言語モデリング性能を達成できるか？
• RQ2 完全に線形な再帰的アーキテクチャにおいて、文脈はどのように語の境界を超えて伝達されるか？
• RQ3 線形代数的手法をどれほど活用して、再帰的ネットワークのダイナミクスを解釈できるか？
• RQ4 アフィン変換の合成を事前計算することで、推論における計算の高速化が達成できるか？
• RQ5 線形再帰的モデルにおいて、語の表現の組み合わせはどのように行われるか？

主な発見

• 入力スイッチドアフィンRNNは、同じパラメータ数を有する標準RNNと同等の性能を、Wikipedia言語モデリングタスクで達成した。
• 線形解析により完全な解釈可能性が実現され、過去の文脈が現在の予測にどのように線形的に組み合わされるかが明らかになった。
• 隠れ状態のダイナミクスは、過去の時刻ステップからの寄与と入力固有の変換の線形結合として理解できる。
• 任意の基底での表現解析が可能であり、語の表現がどのように組み合わされるかを深く理解する手がかりが得られた。
• 語の境界を超えた文脈の伝達は、隠れ状態における語の表現の線形結合によって実現されていることが示された。
• アフィン変換の合成を事前計算することで、性能を損なわずに計算の高速化が可能である道筋が示された。