[論文レビュー] Why Self-Attention? A Targeted Evaluation of Neural Machine Translation Architectures

Gongbo Tang, Matthias Müller+2 more|arXiv (Cornell University)|Aug 27, 2018

Topic Modeling参考文献 19被引用数 36

ひとこと要約

本稿では、RNN、CNN、Transformersの神経機械翻訳における性能を、長距離依存関係のモデル化（主題・動詞一致を介して）および意味特徴の抽出（語義のあいまいさ解消を介して）の観点から評価している。結果は、Transformers や CNN が RNN よりも長距離依存関係のモデル化において実証的利点を示さないことを示しており、一方で意味特徴抽出においてはTransformersが顕著に優れている。これは、Transformersの強みが経路長の短さではなく意味的特徴抽出にあることを示している。

ABSTRACT

Recently, non-recurrent architectures (convolutional, self-attentional) have outperformed RNNs in neural machine translation. CNNs and self-attentional networks can connect distant words via shorter network paths than RNNs, and it has been speculated that this improves their ability to model long-range dependencies. However, this theoretical argument has not been tested empirically, nor have alternative explanations for their strong performance been explored in-depth. We hypothesize that the strong performance of CNNs and self-attentional networks could also be due to their ability to extract semantic features from the source text, and we evaluate RNNs, CNNs and self-attention networks on two tasks: subject-verb agreement (where capturing long-range dependencies is required) and word sense disambiguation (where semantic feature extraction is required). Our experimental results show that: 1) self-attentional networks and CNNs do not outperform RNNs in modeling subject-verb agreement over long distances; 2) self-attentional networks perform distinctly better than RNNs and CNNs on word sense disambiguation.

研究の動機と目的

• CNN や Transformers の短いネットワークパスが RNN よりも長距離依存関係のモデル化を改善するという理論的主張を、実証的に検証すること。
• NMTにおける非再帰的モデルの優れた性能が、経路長の利点ではなく、より優れた意味的特徴抽出によるものであるかどうかを調査すること。
• 多頭注意機構が、Transformers における長距離現象のモデル化に与える影響を評価すること。
• RNN、CNN、Transformers の性能を、主題・動詞一致と語義のあいまいさ解消という対照的NLPタスクで比較すること。
• 共通の設定を用いてモデル間の差を最小限に抑えることで、アーキテクチャ的要因を分離すること。

提案手法

• 本研究では、対照的テストセットを用いる：主題・動詞一致には Lingual97、語義のあいまいさ解消には ContraWSD を使用。
• 長距離依存関係のモデル化を評価するため、距離を増加させながら主題・動詞一致のタスクでモデルを訓練・評価。
• 語義のあいまいさ解消の評価は、ContraWSD データセットにおける正答率を用い、意味的特徴抽出能力を測定。
• 再帰的、畳み込み的、自己注意的モデルを、同一の設定（6層エンコーダ/デコーダ、多頭注意、層正則化）で再訓練し、アーキテクチャ的差を最小限に抑える。
• アブレーションスタディを通じて、Transformers の注意ヘッド数の影響を分析。
• BLEUスコア、パープレキシティ、タスク固有の正答率を報告し、アーキテクチャ間の性能を比較。

実験結果

リサーチクエスチョン

• RQ1 短いパス長理論が示唆するように、Transformers や CNN は RNN よりも長距離依存関係のモデル化で優れているのだろうか？
• RQ2 NMTにおけるTransformersの優れた性能は、経路長の利点ではなく、優れた意味的特徴抽出によるものなのだろうか？
• RQ3 多頭注意における注意ヘッド数は、長距離依存関係のモデル化能力にどのように影響するのか？
• RQ4 多頭注意や残差接続といったアーキテクチャ的要素が、語義のあいまいさ解消における性能差を説明できるのだろうか？
• RQ5 アーキテクチャ的差を最小限に抑えることで、RNN、CNN、Transformers の真の強み・弱みを特定できるのだろうか？

主な発見

• Transformers や CNN は、長距離での主題・動詞一致タスクにおいて RNN を上回らない。これは理論的パス長仮説と矛盾する。
• 再訓練された RNN モデルは、長距離の主題・動詞一致タスクで 96.9% の正答率を達成し、同じ設定下で CNN や Transformer モデルを上回った。
• Transformers は語義のあいまいさ解消タスクにおいて、ContraWSD ベンチマークで最高の正答率を記録し、RNN や CNN を顕著に上回った。
• 多頭注意における注意ヘッド数は、長距離依存関係のモデル化に極めて重要であり、ヘッド数が不足すると性能が低下する。
• 多頭注意、層正則化、フィードフォワードスケーリングといったアーキテクチャ的要素は、WSD の性能差に寄与しているが、すらぎの差を最小限にした状態でも、Transformers は依然として他を上回った。
• 本研究は、BLEUスコアだけではアーキテクチャの強みを理解できず、依存関係モデル化と意味的特徴抽出のトレードオフを考慮する必要があると結論づけた。