[論文レビュー] MuFuRU: The Multi-Function Recurrent Unit

Dirk Weissenborn, Tim Rocktäschel|arXiv (Cornell University)|Jun 9, 2016

Topic Modeling参考文献 17被引用数 3

ひとこと要約

MuFuRUは、入力と以前の状態に依存して、任意の微分可能合成演算（例：要素ごとの最大値、最小値、絶対差分）の集合から選択する能力を持つ、新しい再帰的ニューラルネットワークユニットを導入する。このユニットは、隠れ状態を更新する際に、その選択を学習する。言語モデリングおよびセンチメント分析において標準的なGRUを上回り、論理的推論タスクにおいても、より小さなメモリサイズで過学習を示さずに一般化性能が優れている。

ABSTRACT

Recurrent neural networks such as the GRU and LSTM found wide adoption in natural language processing and achieve state-of-the-art results for many tasks. These models are characterized by a memory state that can be written to and read from by applying gated composition operations to the current input and the previous state. However, they only cover a small subset of potentially useful compositions. We propose Multi-Function Recurrent Units (MuFuRUs) that allow for arbitrary differentiable functions as composition operations. Furthermore, MuFuRUs allow for an input- and state-dependent choice of these composition operations that is learned. Our experiments demonstrate that the additional functionality helps in different sequence modeling tasks, including the evaluation of propositional logic formulae, language modeling and sentiment analysis.

研究の動機と目的

• GRU や LSTM などの既存の RNN が、固定された少数の合成演算（例：ゲート付き加算や置換）に制限されているという限界を是正するため、任意の微分可能関数を合成演算として使用可能にする。
• ネットワークがタスクデータからエンドツーエンドで入力および状態に依存する演算選択を学習可能とすることで、アーキテクチャの柔軟性を向上させる。
• この柔軟性が、標準的な RNN ユニットが達成できない範囲での一般化性能およびシーケンスモデリングタスクにおけるパフォーマンス向上に寄与することを示す。
• 特に小さなメモリサイズでも過学習を示さずに、命題論理の評価といった複雑な状態変換を要するタスクで、特定のタスクに適した行動（例：AND、OR、NOT の論理演算）を学習できることを検証する。

提案手法

• MuFuRU は、現在の入力特徴量と以前の隠れ状態に適用可能な微分可能合成演算（例：最大値、最小値、絶対差分、乗算）の集合を定義する。
• 各時刻において、演算コントローラーは、現在の入力と以前の隠れ状態の連結に全結合ネットワークを適用し、利用可能な演算の上に正規化された注目度のような重みを計算する。
• 最終的な隠れ状態は、各合成演算の出力の重み付き和として計算され、重みは学習された演算コントローラーによって決定される。
• 演算コントローラーはバックプロパゲーションによりエンドツーエンドで学習され、各ステップで文脈に応じた最も適切な合成関数の動的選択が可能になる。
• ハードコードされたゲートによって固定されるのではなく、より広い関数クラスを許容し、選択メカニズムを学習することで、GRU や LSTM を一般化する。
• この手法は任意の RNN フレームワークに統合可能であり、アーキテクチャの変更なしに新しいタスク固有の微分可能関数をプラグイン可能である。

実験結果

リサーチクエスチョン

• RQ1 入力と状態に依存して多様な微分可能合成演算から選択する再帰ユニットが、シーケンスモデリングタスクにおいて標準的な GRU よりも優れた一般化性能を示せるか？
• RQ2 入力と状態に応じて演算を動的に選択できる能力が、論理的推論のような複雑な状態変換を要するタスクでパフォーマンス向上に寄与するか？
• RQ3 MuFuRU は、小さなメモリ容量で過学習を示さずに、命題論理評価において論理演算（例：AND、OR、NOT）をエミュレートできるか？
• RQ4 言語モデリングおよびセンチメント分析において、ハイパーパrameterチューニングなしで MuFuRU のパフォーマンスは標準的な GRU や最先端モデルと比較してどうなるか？
• RQ5 学習された演算選択が、無作為的または冗長な関数使用ではなく、意味的で解釈可能な行動を反映しているか、その程度はどの程度か？

主な発見

• Penn Treebank 言語モデリングタスクにおいて、MuFuRU はテストパープレキシティが 119.7 を達成し、GRU ベースライン（123.0）を上回った。
• 命題論理評価タスクにおいて、MuFuRU は 8 個の隠れユニットで 11〜20 ゲートを含む未学習の論理式に対して 87.6% の精度を達成した。一方、GRU ははるかに大きな次元を必要とし、急速に過学習を示した。
• 論理タスクにおいて、大きな隠れ次元でも過学習を示さなかったため、パターンの記憶ではなく、一般化可能な、演算固有の戦略を学習したと示唆された。
• Sentiment Treebank におけるセンチメント分析では、MuFuRU は GRU ベースラインを上回り、アーキテクチャの変更やハイパーパrameterチューニングなしで最先端の結果に近づいた。
• 演算重みの可視化により、MuFuRU は入力と状態に応じたスパarsな演算使用を示し、学習された行動が入力と状態に適合していた。例えば、直感的でないが、OR 演算では乗算を多く使用していた。
• モデルが多様な合成関数を学習して適用できることで、シーケンス長やタスクの範囲を越えて一般化できるようになった。これは、標準的な RNN ユニットよりもより柔軟でタスクに適応した表現を捉えられることを示唆している。