[論文レビュー] Twin Networks: Using the Future as a Regularizer.

Dmitriy Serdyuk, Nan Rosemary Ke+3 more|arXiv (Cornell University)|Aug 22, 2017

Topic Modeling参考文献 7被引用数 7

ひとこと要約

この論文では、順方向RNNが次のトークンを予測する一方で、逆方向RNNが逆順のシーケンスを予測するように同時に訓練することで、長期依存関係のモデリングを向上させる、Twin Networksと呼ばれる新しいRNNアーキテクチャを提案する。各トークンで順方向および逆方向ネットワーク間の状態の対応を強制することで、モデルは暗黙的に将来を計画し、よりグローバルに一貫性のある生成を実現する。音声認識タスクにおいて、このアプローチはCERを7.6から6.7に低下させ、相対的に12%の改善を達成した。

ABSTRACT

Being able to model long-term dependencies in sequential data, such as text, has been among the long-standing challenges of recurrent neural networks (RNNs). This issue is strictly related to the absence of explicit planning in current RNN architectures. More explicitly, the RNNs are trained to predict only the next token given previous ones. In this paper, we introduce a simple way of encouraging the RNNs to plan for the future. In order to accomplish this, we introduce an additional neural network which is trained to generate the sequence in reverse order, and we require closeness between the states of the forward RNN and backward RNN that predict the same token. At each step, the states of the forward RNN are required to match the future information contained in the backward states. We hypothesize that the approach eases modeling of long-term dependencies thus helping in generating more globally consistent samples. The model trained with conditional generation for a speech recognition task achieved 12\% relative improvement (CER of 6.7 compared to a baseline of 7.6).

研究の動機と目的

• 長期間にわたる依存関係をモデル化するという課題に取り組むこと。これは、明示的な計画が欠如しているためにRNNがしばしば失敗するためである。
• 従来のRNNが過去のコンテキストに基づいて次のトークンを予測するが、将来のコンテキストを考慮しないという制限を克服すること。
• 二重ネットワークアーキテクチャを用いて、学習中に将来の情報を組み込むことで、シーケンス生成のグローバルな一貫性を向上させること。
• 特に音声やテキストなどの順序データにおいて、条件付き生成タスクにおける一般化性能と一貫性を向上させること。
• 順方向および逆方向RNN間の状態マッチングを用いたシンプルだが効果的な正則化機構を通じて、将来に配慮した学習の有効性を示すこと。

提案手法

• 順方向RNNが時系列順にシーケンスを処理し、逆方向RNNが逆順に処理する二重ネットワークアーキテクチャを導入する。
• 対応する位置で順方向RNNと逆方向RNNの隠れ状態を一致させるよう、両ネットワークを統合的に最適化する共同目的関数を用いる。
• 各時刻tにおいて、同じトークンを予測する順方向RNNの隠れ状態と逆方向RNNの隠れ状態の間の距離を最小化する。
• この状態対応を正則化子として用い、順方向RNNが将来のコンテキストを暗黙的に計画するよう促進することで、長距離依存関係のモデリングを改善する。
• 音声特徴量を入力として与えられた条件下で、翻訳を生成する音声認識の文脈でこの手法を適用する。
• 標準的なRNN学習目的関数（例：交差エントロピー損失）を最適化しながら、状態マッチング正則化損失を組み込む。

実験結果

リサーチクエスチョン

• RQ1 学習中に将来のコンテキストをモデル化することで、RNNにおける長期依存関係学習が向上するか？
• RQ2 順方向および逆方向RNN間の状態対応を強制することで、よりグローバルに一貫性のあるシーケンス生成が達成されるか？
• RQ3 双方向状態整合性に基づくシンプルな正則化機構が、長距離一貫性を要するタスクで標準RNNを上回る性能を発揮できるか？
• RQ4 将来に配慮した学習は、音声認識のような順序付きモデリングタスクで誤差率をどの程度低減できるか？
• RQ5 一般化性能および長期間シーケンスに対する耐性という観点から、Twin Networksアーキテクチャは標準RNNと比べてどのように差がつくか？

主な発見

• 提案されたTwin Networks手法は、音声認識タスクにおいて文字誤り率（CER）を12%相対的に改善し、7.6（ベースライン）から6.7に低下させた。
• 逆方向RNNを介した将来のコンテキストの組み込みにより、生成シーケンスのグローバルな一貫性が向上した。
• 状態マッチング正則化は、アーキテクチャの複雑さを増すことなく、順方向RNNが先読みするよう効果的に促進した。
• 追加のパラメータや標準RNN学習を大幅に超える複雑な訓練手順を必要とせず、性能向上を達成した。
• 明示的な将来計画を双方向状態整合性を通じて実現することは、RNNにおける有効で実用的な正則化戦略であると考えられる。
• このアプローチのシンプルさにもかかわらず改善が観測されたことから、将来に配慮した学習は順序付きモデリングにおける強力なインダクティブバイアスである可能性がある。