[論文レビュー] Dense Information Flow for Neural Machine Translation

Yanyao Shen, Xu Tan+3 more|arXiv (Cornell University)|Jun 3, 2018

Multimodal Machine Learning Applications参考文献 13被引用数 4

ひとこと要約

この論文では、エンコーダーとデコーダーの両ブロックに密接接続（dense connections）と密接注意機構（dense attention mechanism）を導入したニューラル機械翻訳アーキテクチャ、DenseNMTを提案する。これにより情報の流れが向上し、トレーニングが高速化され、翻訳精度が向上する。実験の結果、パラメータ数を減らし、埋め込み次元を小さくしても、IWSLT14およびWMT14ベンチマークで新たなSOTA BLEUスコアを達成した。

ABSTRACT

Recently, neural machine translation has achieved remarkable progress by introducing well-designed deep neural networks into its encoder-decoder framework. From the optimization perspective, residual connections are adopted to improve learning performance for both encoder and decoder in most of these deep architectures, and advanced attention connections are applied as well. Inspired by the success of the DenseNet model in computer vision problems, in this paper, we propose a densely connected NMT architecture (DenseNMT) that is able to train more efficiently for NMT. The proposed DenseNMT not only allows dense connection in creating new features for both encoder and decoder, but also uses the dense attention structure to improve attention quality. Our experiments on multiple datasets show that DenseNMT structure is more competitive and efficient.

研究の動機と目的

• エンコーダーとデコーダーのネットワークにおいて残差接続（residual connections）の代わりに密接接続（dense connections）を導入することで、ニューラル機械翻訳における情報の流れを向上させること。
• すべての過去のエンコーダー層が直接デコーダーに影響を与えることができる、密接注意構造を導入することで、注意の質を向上させること。
• 特に埋め込み次元を小さくすることで、より効率的なトレーニングと優れた性能を実現し、モデルサイズを縮小すること。
• モデルパラメータ数を増加させることなく、複数のベンチマークデータセットで最先端の翻訳性能を達成すること。

提案手法

• すべての前の層からの特徴を連結する構造を持つ密接接続エンコーダーとデコーダーを導入し、特徴の再利用と改善された勾配伝播を促進する。
• エンコーダーとデコーダー内での密接接続に加え、注意機構に対しても密接接続を適用し、すべてのエンコーダー層が注意計算に直接寄与できるようにする。
• すべてのエンコーダー層からの表現を集約するように変更された注意機構を採用し、アライメント品質と意味的表現の質を向上させる。
• 標準的なエンコーダー・デコーダー枠組みを採用し、畳み込みまたは自己注意に基づく変換を適用するが、残差スキップ接続の代わりに密接スキップ接続を導入する。
• 標準的なNMT目的関数（例：交差エントロピー損失）とAdam最適化法を用いてモデルをトレーニングし、標準ベンチマーク上でBLEUスコアを評価する。
• アブレーションスタディを実施し、エンコーダー、デコーダー、および注意部の密接接続の寄与を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーとデコーダーの両方に密接接続を導入することで、残差接続と比較してトレーニング効率と翻訳性能が向上するか？
• RQ2 すべてのエンコーダー層からの特徴を集約する密接注意機構は、より良いアライメントと高品質な翻訳をもたらすか？
• RQ3 標準モデルと比較して、顕著に小さい埋め込み次元でDenseNMTは同等または優れた性能を達成できるか？
• RQ4 主なNMTベンチマークにおいて、BLEUスコア、パラメータ数、トレーニング効率の観点から、DenseNMTは最先端モデルと比較してどうなるか？

主な発見

• IWSLT14ドイツ語-英語翻訳タスクにおいて、DenseNMTは32.26の新たなSOTA BLEUスコアを達成し、先行モデルを最大2.8 BLEUポイント上回った。
• WMT14英語-ドイツ語タスクでは、ConvS2Sベースラインと比較して20%少ないパラメータ数、35%少ないトレーニングイテレーションで25.52のBLEUスコアを達成した。
• 埋め込み次元64の8層DenseNMTモデルは、埋め込み次元256の標準的な8層モデルと同等の性能を示したが、パラメータ数はわずか40%にまで削減された。
• アブレーションスタディの結果、エンコーダー、デコーダー、注意部の3つのコンponentsにおける密接接続が、モデルサイズを増加させずに相乗的に性能向上に寄与することが確認された。
• トルコ語-英語IWSLT14タスクでは、平均24.36のBLEUスコアを達成し、新たなベンチマークを樹立した。
• トレーニング損失曲線が急激に低下し、早期に収束する傾向を示しており、最適化がより効率的であることが裏付けられた。