[論文レビュー] Very Deep Convolutional Networks for Natural Language Processing.

Alexis Conneau, Holger Schwenk+2 more|arXiv (Cornell University)|Jun 6, 2016

Topic Modeling参考文献 13被引用数 222

ひとこと要約

この論文は、非常に深い畳み込みニューラルネットワーク（最大29層）を紹介しており、小規模な畳み込みとプーリング演算のみを用いて、テキストを直接文字レベルで処理する。複数のテキスト分類タスクで最先端の性能を達成し、深層アーキテクチャが自然言語処理の性能を顕著に向上させることを示している。これは、非常に深いCNNを自然言語処理に成功して応用した初の例である。

ABSTRACT

The dominant approach for many NLP tasks are recurrent neural networks, in particular LSTMs, and convolutional neural networks. However, these architectures are rather shallow in comparison to the deep convolutional networks which are very successful in computer vision. We present a new architecture for text processing which operates directly on the character level and uses only small convolutions and pooling operations. We are able to show that the performance of this model increases with the depth: using up to 29 convolutional layers, we report significant improvements over the state-of-the-art on several public text classification tasks. To the best of our knowledge, this is the first time that very deep convolutional nets have been applied to NLP.

研究の動機と目的

• コンピュータビジョンで成功を収めた非常に深い畳み込みネットワークが、自然言語処理タスクに効果的に適用可能かどうかを調査すること。
• RNN や標準的なCNNに依存する浅いアーキテクチャの限界を克服するために、より深いモデルを提案すること。
• LSTM などの再帰構造に依存せずに、ネットワークの深さを増すことでテキスト分類の性能が向上することを実証すること。
• 再帰構造やアテンション機構を一切使用せずに、文字レベルでの畳み込みとプーリング演算のみでテキスト分類の新しいベースラインを確立すること。

提案手法

• モデルは、テキストをそのまま文字のシーケンスとして入力し、文字レベルで処理を行う。
• 小規模な畳み込みフィルタ（例：カーネルサイズ3）とマックスプーリング層を用いて、階層的な特徴を抽出する。
• 最大29層の畳み込み層をスタックすることで、深い階層的表現学習を可能にする。
• 各畳み込み層はReLU活性化関数を適用し、シーケンス全体に重み共有を適用して局所的なパターンを捉える。
• プーリング層は空間次元を縮小し、受容 field 内で最も顕著な特徴を保持する。
• 最終的な表現は、グローバルマックスプーリングまたは全結合層を用いて読み出され、分類に使用される。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンで成功を収めた非常に深い畳み込みネットワークが、自然言語処理タスクでも優れた性能を発揮できるか？
• RQ2 文字レベルで動作するCNNアーキテクチャの深さを増すことで、テキスト分類の性能が向上するか？
• RQ3 アテンションや再帰構造を一切使用しない純粋な畳み込みアーキテクチャが、LSTMなどの再帰モデルを上回ることができるか？
• RQ4 深さによる性能向上効果が、複数の公開テキスト分類ベンチマークで一貫して得られるか？

主な発見

• 複数の公開テキスト分類データセットで最先端の性能を達成し、先行手法を上回った。
• 深さを増すことで性能が顕著に向上し、深さと精度の間には強い正の相関関係があることが示された。
• 再帰構造やアテンション機構を一切使用せず、小規模な畳み込みとプーリングのみでこれらの結果を達成した。
• モデルは文字レベルで効果的に動作し、単語レベルのトークン化や事前学習済み埋め込みの必要性を排除した。
• 最高の性能は29層のアーキテクチャで達成され、自然言語処理における非常に深いネットワークの利点を裏付けた。
• 本研究は、非常に深いCNNを自然言語処理に成功して応用した初の例であり、純粋な畳み込みモデルの新しいベンチマークを確立した。