[論文レビュー] Recurrent Additive Networks

Kenton Lee, Omer Levy+1 more|arXiv (Cornell University)|May 21, 2017

Topic Modeling参考文献 13被引用数 30

ひとこと要約

この論文では、非線形性を含まない再帰的遷移における加法的状態更新のみを用いるゲート付きRNN、すなわち再帰的加法的ネットワーク（RANs）を提案する。言語モデリングベンチマークにおいてLSTMと同等の性能を達成している。モデルの内部状態は入力ベクトルの重み付き和として表現され、高い解釈可能性を維持しながらも強力な性能を発揮する。

ABSTRACT

We introduce recurrent additive networks (RANs), a new gated RNN which is distinguished by the use of purely additive latent state updates. At every time step, the new state is computed as a gated component-wise sum of the input and the previous state, without any of the non-linearities commonly used in RNN transition dynamics. We formally show that RAN states are weighted sums of the input vectors, and that the gates only contribute to computing the weights of these sums. Despite this relatively simple functional form, experiments demonstrate that RANs perform on par with LSTMs on benchmark language modeling problems. This result shows that many of the non-linear computations in LSTMs and related networks are not essential, at least for the problems we consider, and suggests that the gates are doing more of the computational work than previously understood.

研究の動機と目的

• シーケンスモデリングタスクにおいて、強い性能を維持しつつ、より単純で解釈可能なゲート付きRNNアーキテクチャを開発すること。
• LSTMが言語モデリングで成功する要因として、非線形再帰的ダイナミクスが不可欠であるかどうかを検証すること。
• RANsの関数的空間を形式的に特徴付け、その隠れ状態が入力ベクトルの成分ごとの重み付き和であることを示すこと。
• RNNのゲートが、単に情報の流れを制御するのではなく、より多くの計算的作業を担っている可能性を示すこと。

提案手法

• RANsは、現在の入力と直前の隠れ状態のゲート付き成分ごとの和として隠れ状態を計算し、入力およびフォグット操作にシグモイドゲートを用いる。
• 入力を隠れ次元に射影するために、入力の線形変換を用いることで、入力次元と隠れ次元の不一致に対処できる。
• 出力は、隠れ状態に非線形活性化関数（例：tanh）を適用することで計算されるが、簡略化されたバージョンでは恒等写像も使用される。
• 時間ステップtにおける隠れ状態は、形式的にすべての過去の入力ベクトルの重み付き和として示され、重みはゲート値によって決定される。
• LSTMから非線形再帰的遷移（すなわち、候補セル状態におけるtanh）と出力ゲートを削除することで、アーキテクチャを導出する。
• 標準的なハイパーパramータチューニングを用いて、標準的な言語モデリングベンチマークでRANsとLSTM、GRUsを比較する実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 非線形性を含まない完全に加法的な状態更新を持つゲート付きRNNは、言語モデリングタスクでLSTMと同等の性能を達成できるか？
• RQ2 再帰的遷移ダイナミクスにおける非線形性は、LSTMの性能向上にどの程度寄与しているか？
• RQ3 ゲート付きRNNの隠れ状態は、入力ベクトルの重み付き和として形式的に特徴付け可能であり、その解釈可能性にどのような意味を持つのか？
• RQ4 LSTMやGRUのゲートは、非線形再帰的ダイナミクスが存在しない状況において、従来の認識よりもはるかに多くの計算的作業を担っているのだろうか？
• RQ5 非線形性を削除し、パラメータ数を大幅に削減することで、ゲート付きRNNを著しく簡素化しても性能が損なわれないか？

主な発見

• RANsは、パラメータ数が著しく少ないにもかかわらず、3つの標準的な言語モデリングベンチマーク（Penn Treebank、WikiText-2、WikiText-103）でLSTMと同等の性能を達成した。
• LSTMアーキテクチャから非線形再帰的遷移（すなわち、候補セル状態におけるtanh）を削除しても、元のLSTMとほぼ同等の性能を示した。
• LSTMから出力ゲートを削除しても、性能低下は最小限に抑えられ、この設定では出力ゲートが言語モデリングにおいて必須ではないことが示唆された。
• 任意の時間ステップにおけるRANの内部状態は、数学的にすべての過去の入力ベクトルの成分ごとの重み付き和に等しく、重みはゲート値によって決定される。
• RANsの単純さのおかげで、各入力ベクトルが現在の隠れ状態にどのように寄与しているかを直接解釈可能にできるため、モデルの透明性が向上した。
• 実験結果から、加法的結合とゲートメカニズムが、LSTMの性能向上の主な要因である可能性が示唆された。非線形再帰的ダイナミクスよりも、むしろそれらが重要な役割を果たしていると考えられる。