[論文レビュー] $gen$CNN: A Convolutional Architecture for Word Sequence Prediction

Mingxuan Wang, Zhengdong Lu+3 more|arXiv (Cornell University)|Mar 17, 2015

Natural Language Processing Techniques参考文献 24被引用数 11

ひとこと要約

この論文は、再帰的単位に依存せずに、テキスト内の局所的および長距離依存関係を捉える新しい畳み込みニューラルネットワークアーキテクチャである$gen$CNNを提案する。再帰的で多スケールの畳み込み構造と畳み込みゲーティング機構を用いることで、$gen$CNNは言語モデル作成および機械翻訳のn-best再ランク付けにおいて、RNN やLSTM よりも顕著な優位性を示し、最先端の性能を達成した。

ABSTRACT

We propose a novel convolutional architecture, named $gen$CNN, for word sequence prediction. Different from previous work on neural network-based language modeling and generation (e.g., RNN or LSTM), we choose not to greedily summarize the history of words as a fixed length vector. Instead, we use a convolutional neural network to predict the next word with the history of words of variable length. Also different from the existing feedforward networks for language modeling, our model can effectively fuse the local correlation and global correlation in the word sequence, with a convolution-gating strategy specifically designed for the task. We argue that our model can give adequate representation of the history, and therefore can naturally exploit both the short and long range dependencies. Our model is fast, easy to train, and readily parallelized. Our extensive experiments on text generation and $n$-best re-ranking in machine translation show that $gen$CNN outperforms the state-of-the-arts with big margins.

研究の動機と目的

• RNN やLSTM が、貪欲な隠れ状態の要約による長距離依存関係の効率的モデリングの限界を解消するため。
• フィードフォワードネットワークが局所的言語構造および長距離相関を捉えることの非効率性を克服するため。
• 順序データにおける局所的およびグローバルな依存関係を効果的に統合する畳み込みアーキテクチャを設計し、言語モデル作成および生成の性能を向上させるため。
• 再帰的アーキテクチャと比較して、高速で、容易にトレーニング可能で、並列処理に適したモデルを開発するため。
• 機械翻訳タスクにおける単語系列予測およびn-best再ランク付けにおいて、優れた性能を示すことを実証するため。

提案手法

• モデルは、$\alpha$ CNN（最近の履歴用）と$\beta$ CNNs（過去の履歴用）から構成される再帰的アーキテクチャを用い、可変長のコンテキストモデリングを可能にする。
• $\alpha$ CNN における新しい重み共有戦略により、時間ステップに跨る部分的な共有が可能となり、時間的構造が保持される。
• 情報フローを動的に制御するための畳み込みゲーティング機構を導入し、表現学習が向上する。
• 畳み込み層とプーリング層を交互に配置し、外部ゲーティングを組み合わせることで、有効な特徴抽象化が可能になる。
• 最終的な表現は、全結合層およびソフトマックス層を通過し、次に現れる単語の確率を予測する。
• 再帰的構造や固定長符号化を一切用いず、単語予測における交差エントロピー損失を用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 再帰的構造を用いずに、畳み込みアーキテクチャが、語系列における局所的および長距離依存関係を効果的にモデリングできるか？
• RQ2 RNNベースおよびフィードフォワードニューラルネットワーク言語モデルと比較して、$gen$CNNはパープレクサリティおよび生成品質において優れているか？
• RQ3 距離に応じた条件付き確率の減衰を測定することで、$gen$CNN がどの程度長距離相関を維持できるか？
• RQ4 既存の言語モデルと比較して、$gen$CNN はニューラル機械翻訳におけるn-best再ランク付け性能を向上させられるか？
• RQ5 再帰的で多スケールの設計が、$gen$CNN のトレーニング効率および並列処理性にどのように寄与するか？

主な発見

• FBISデータセットでは、$gen$CNN がテストパープレクサリティ181.2を達成し、次に良いモデル（LSTM 206.9）を顕著に上回った。
• NIST MT2008テストセットでは、$gen$CNN がn-best再ランク付けでBLEUスコア32.50を達成し、ベースライン（31.11）およびLSTMベースの再ランク付け（31.90）を上回った。
• MT2006およびMT2008の平均BLEUスコアは36.63であり、ベースラインより1.76 BLEUポイント優れていた。
• ある単語の予測確率に対する影響が距離とともにゆっくりと減衰する傾向を示しており、40語を超える距離でも強い長距離依存関係モデリングが可能であることが示された。
• 再帰的でない畳み込みアーキテクチャのため、RNN やLSTM と比較して高速かつ並列処理に適している。
• 動的評価では、RNN やLSTM と比較して、$gen$CNN がより効果的にパープレクサリティを低下させ、優れた言語モデル能力を示した。