[論文レビュー] A Fixed-Size Encoding Method for Variable-Length Sequences with its Application to Neural Network Language Models

Shiliang Zhang, Hui Jiang+3 more|arXiv (Cornell University)|May 6, 2015

Topic Modeling参考文献 16被引用数 13

ひとこと要約

本稿では、減衰係数 α を用いた再帰的で位置依存の忘却メカニズムを備えた固定サイズのベクトルに可変長シーケンスを符号化する新規手法、Fixed-Size Ordinally-Forgetting Encoding (FOFE) を提案する。FOFE により、誤反復なしの前向き伝搬型ニューラルネットワーク言語モデル（FNN-LM）が再帰を用いずに長期依存関係を捉えることが可能となり、Penn Treebank および Large Text Compression Benchmark において最先端の性能を達成した。

ABSTRACT

In this paper, we propose the new fixed-size ordinally-forgetting encoding (FOFE) method, which can almost uniquely encode any variable-length sequence of words into a fixed-size representation. FOFE can model the word order in a sequence using a simple ordinally-forgetting mechanism according to the positions of words. In this work, we have applied FOFE to feedforward neural network language models (FNN-LMs). Experimental results have shown that without using any recurrent feedbacks, FOFE based FNN-LMs can significantly outperform not only the standard fixed-input FNN-LMs but also the popular RNN-LMs.

研究の動機と目的

• 固定サイズのコンテキスト窓の制限により、標準的な FNN-LM が長期依存関係をモデル化できないという問題を解決すること。
• 可変長シーケンスにおける語の順序と履歴を保持する、文脈依存の固定サイズ符号化手法を開発すること。
• 再帰フィードバックや BPTT を使用せずに、前向き伝搬型ニューラルネットワークが RNN よりも優れたもしくは同等の性能を達成できるようにすること。
• 忘却係数を用いた離散的シーケンスに対する理論的裏付けが強く、効率的で特徴的な符号化メカニズムを提供すること。

提案手法

• FOFE は、各単語を再帰的式 $\mathbf{z}_t = \alpha \cdot \mathbf{z}_{t-1} + \mathbf{e}_t$ を用いて符号化する。ここで $\mathbf{e}_t$ は t 番目の単語の 1-of-K 埋め込みであり、$\alpha \in (0,1)$ は忘却係数である。
• 得られる FOFE コード $\mathbf{z}_t$ は固定サイズのベクトルであり、単語の位置に基づいて指数的減衰する影響を持つ歴史的単語情報の蓄積を実現する。
• 忘却係数 $\alpha \in (0.5, 1)$ の場合、任意のシーケンス長 $T$ に対してほぼ一意の符号化が保証される（有限個の例外的 $\alpha$ 値を除く）。
• FNN-LM に統合する際、固定サイズのコンテキスト窓の代わりに、FOFE で符号化された履歴ベクトルをネットワークの入力として使用する。
• 標準的なバックプロパゲーションを用いて学習を実行し、BPTT を使用しないことで、GPU での効率的な学習が可能となる。
• 理論的分析により、復号の曖昧性は可算的・有限個の $\alpha$ 値でのみ発生することが証明され、実用的な一意性が保証される。

実験結果

リサーチクエスチョン

• RQ1 再帰を用いない固定サイズの符号化手法は、可変長シーケンスにおいて語の順序と長期的コンテキストを保持できるか？
• RQ2 FOFE を用いた FNN-LM は、固定コンテキスト窓を用いた標準的な FNN-LM よりも言語モデル性能を上回れるか？
• RQ3 再帰フィードバックを用いずに、FOFE を用いた FNN-LM は、LSTM を含む RNN-LM と同等または優れた性能を達成できるか？
• RQ4 通常の忘却係数 $\alpha$ 値において、FOFE 符号化はほぼ一意的か？
• RQ5 FOFE-FNN-LM の学習において BPTT を使用しないことで、RNN-LM よりも高速かつ安定した学習が達成できるか？

主な発見

• Penn Treebank コーパスにおいて、2次元 FOFE-FNNLM はテストパープレキシティが 108 を記録し、最良の標準 FNN-LM（113）および RNN-LM（112）を上回った。
• Large Text Compression Benchmark（LTCB）において、2次元 FOFE-FNNLM はテストパープレキシティが 107 を記録し、最良のベースライン FNN-LM（112）および RNN-LM（112）を上回った。
• FOFE を用いた FNN-LM で [2*200]-600-600-80k のアーキテクチャが LTCB でパープレキシティ 107 を達成し、より大きな FNN-LM や RNN-LM より優れた性能を示した。
• 理論的分析により、$\alpha \in (0.5, 1)$ の場合、FOFE はほぼ一意の符号化を提供することが確認された。曖昧性は有限個の可算的 $\alpha$ 値でのみ発生する。
• FOFE-FNN-LM の学習は GPU で非常に効率的であり、RNN で使用される BPTT の計算複雑性を回避している。
• 再帰フィードバックが存在しないにもかかわらず、FNN-LM が長期依存関係を効果的にモデル化できることを示し、このようなモデル化には再帰が必須であるという仮定に疑問を呈した。