[論文レビュー] CNN Is All You Need

Qiming Chen, Wu Ren|arXiv (Cornell University)|Dec 27, 2017

Multimodal Machine Learning Applications参考文献 18被引用数 8

ひとこと要約

この論文では、順序の認識が不足している標準的なCNNの欠陥を是正するため、順序に敏感な性能が向上したPoseNetと呼ばれる拡張されたCNNアーキテクチャを提案する。エンコーダーとデコーダーで位置情報の取り扱いを非対称にすることで、PoseNetは機械翻訳タスクにおいてCNNベースで最先端の性能を達成し、WMT 2014ベンチマークの英語→ドイツ語翻訳で33–36 BLEU、英語→フランス語翻訳で44–46 BLEUを達成した。

ABSTRACT

The Convolution Neural Network (CNN) has demonstrated the unique advantage in audio, image and text learning; recently it has also challenged Recurrent Neural Networks (RNNs) with long short-term memory cells (LSTM) in sequence-to-sequence learning, since the computations involved in CNN are easily parallelizable whereas those involved in RNN are mostly sequential, leading to a performance bottleneck. However, unlike RNN, the native CNN lacks the history sensitivity required for sequence transformation; therefore enhancing the sequential order awareness, or position-sensitivity, becomes the key to make CNN the general deep learning model. In this work we introduce an extended CNN model with strengthen position-sensitivity, called PoseNet. A notable feature of PoseNet is the asymmetric treatment of position information in the encoder and the decoder. Experiments shows that PoseNet allows us to improve the accuracy of CNN based sequence-to-sequence learning significantly, achieving around 33-36 BLEU scores on the WMT 2014 English-to-German translation task, and around 44-46 BLEU scores on the English-to-French translation task.

研究の動機と目的

• 標準CNNが系列の順序や長距離依存関係を捉える能力に欠けるという制限を解消すること。
• RNNの逐次的計算のボトル neck を克服しつつ、長期依存関係をモデル化する能力を維持すること。
• RNNの性能を模倣または上回る、序列学習タスク（例：機械翻訳）に適したCNNベースのアーキテクチャを開発すること。
• 系列内のトークン順序の認識を高める、新たな位置感度メカニズムを導入すること。
• 神経機械翻訳の標準ベンチマークデータセット上で、提案されたアーキテクチャの有効性を実証すること。

提案手法

• 順序モデリングの向上を目的とした、位置感度が強化された拡張CNNモデルPoseNetを提案する。
• 位置情報の取り扱いを非対称に適用：エンコーダーでは相対的位置符号化を、デコーダーでは絶対的位置符号化を用いる。
• 可学習な位置埋め込みを畳み込み層に統合し、系列の順序情報を保持する。
• パrameter数を増加させずに受容 field を拡大するために、拡張畳み込み（dilated convolutions）を用いる。
• アテンション機構を組み合わせた序列学習の目的関数に従って、モデルをエンドツーエンドで訓練する。
• RNNの自己回帰的性質とは対照的に、並列処理が可能な畳み込み演算を活用し、より高速な学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 再帰構造に依存しないCNNベースのモデルが、序列学習タスクで競争力のある性能を達成できるか？
• RQ2 CNNにおける位置感度を効果的に向上させることで、系列的依存関係のモデリングが改善できるか？
• RQ3 RNNと同等かそれ以上の性能を発揮するためのCNNのアーキテクチャ的変更は何か？
• RQ4 エンコーダーとデコーダーで位置情報の取り扱いを非対称にすることで、機械翻訳タスクの性能が向上するか？
• RQ5 完全に畳み込み型のアーキテクチャが、標準的な機械翻訳ベンチマークで最先端の結果を達成できるか？

主な発見

• PoseNetはWMT 2014の英語→ドイツ語翻訳タスクで33–36 BLEUを達成し、CNNベースのモデルとしては非常に高い性能を示した。
• 英語→フランス語翻訳タスクでは44–46 BLEUを達成し、RNNベースのモデルに近い性能に到達した。
• 位置感度の向上を図ったメカニズムのおかげで、標準CNNよりも序列モデリングにおいて優れた性能を発揮した。
• エンコーダーとデコーダーで位置情報の取り扱いを非対称にすることで、対称的または単純なアプローチよりも顕著な性能向上が得られた。
• 拡張畳み込みの活用により、計算コストを抑えつつ長距離依存関係のモデリングが効果的に行えるようになった。
• RNNの自己回帰的性質とは異なり、畳み込み演算の並列性のおかげで、学習の効率が向上した。