[論文レビュー] Assessing the Ability of Self-Attention Networks to Learn Word Order

Baosong Yang, Longyue Wang+3 more|arXiv (Cornell University)|Jun 3, 2019

Topic Modeling参考文献 47被引用数 5

ひとこと要約

この論文は、自己注意ネットワーク（SAN）、RNN、方向性SAN（DiSAN）が語順情報をどの程度正しく学習しているかを実証的に評価するための新しい語順再配置検出（WRD）タスクを導入する。SANは再帰的構造を欠いているが、機械翻訳の学習で訓練された場合、RNN や DiSAN を上回る性能を示し、実際の文脈では学習目的がアーキテクチャよりも語順の捉え込みに大きな影響を与えることを示している。

ABSTRACT

Self-attention networks (SAN) have attracted a lot of interests due to their high parallelization and strong performance on a variety of NLP tasks, e.g. machine translation. Due to the lack of recurrence structure such as recurrent neural networks (RNN), SAN is ascribed to be weak at learning positional information of words for sequence modeling. However, neither this speculation has been empirically confirmed, nor explanations for their strong performances on machine translation tasks when "lacking positional information" have been explored. To this end, we propose a novel word reordering detection task to quantify how well the word order information learned by SAN and RNN. Specifically, we randomly move one word to another position, and examine whether a trained model can detect both the original and inserted positions. Experimental results reveal that: 1) SAN trained on word reordering detection indeed has difficulty learning the positional information even with the position embedding; and 2) SAN trained on machine translation learns better positional information than its RNN counterpart, in which position embedding plays a critical role. Although recurrence structure make the model more universally-effective on learning word order, learning objectives matter more in the downstream tasks such as machine translation.

研究の動機と目的

• 自己注意ネットワーク（SAN）が理論的に再帰的でないため弱いとされる主張に反して、実証的にSANが語順情報を効果的に学習できるかどうかを評価すること。
• 再帰構造（RNN、DiSAN）が語順学習において根本的にSANよりも優れているかどうか、特に機械翻訳などの下流タスクにおいて検証すること。
• 位置埋め込みがSANが語順を捉えるのをどのように支援するかを、再帰ベースのモデルと比較して評価すること。
• 学習目的（例：機械翻訳対比語順再配置検出）がモデルアーキテクチャよりも語順学習に与える影響が大きいかどうかを特定すること。
• ニューラル機械翻訳における誤った語順入力に対して、異なるアーキテクチャがどの程度耐性を示すかを理解すること。

提案手法

• 1つの語を文内でランダムに別の位置に移動させ、元の位置と挿入された位置をモデルが特定する「語順再配置検出（WRD）」という新しいプローブタスクを提案する。
• エンコーダーからの文脈的表現を用いて、元の（O）および挿入された（I）位置を予測するポインタネットワークヘッドを備えた位置検出器を設計する。
• SAN、RNN、DiSANのエンコーダーを、2つの目的で訓練および評価する：(1) WRDタスクそのもの、(2) WMT'14 英語＝ドイツ語データセットを用いたニューラル機械翻訳（NMT）。
• 事前学習済みまたはランダム初期化されたエンコーダーをベースとし、WRDタスクで微調整することで、アーキテクチャと学習目的の影響を分離する。
• NMT開発セットに語順の摂動を加え、翻訳品質の低下を測定することで、モデルの耐性を評価する。
• 異なるアーキテクチャの隠れ状態における語順の符号化の程度を、トークンレベルの表現を分析することで調査する。

実験結果

リサーチクエスチョン

• RQ1 再帰構造は語順学習に不可欠であり、機械翻訳などの異なるタスクにおいても同様に成り立つか？
• RQ2 アーキテクチャ（SAN 対 RNN 対 DiSAN）が語順学習能力を決定づける根本的要因であるのか、それとも学習目的がより重要なのか？
• RQ3 位置埋め込みだけがSANに語順情報を効果的に学習可能にさせるのか、特に再帰ベースのモデルと比較してどうか？
• RQ4 学習目的（例：WRD 対 NMT）が、下流タスクにおける語順エラーの検出・処理能力に与える影響は？
• RQ5 ニューラル機械翻訳における入力語順の摂動に対して、異なるアーキテクチャはどの程度耐性を示すか？

主な発見

• WRDタスクにのみ訓練されたSANは、RNN や DiSAN よりも著しく性能が低い。これは、強い学習目的がなければSANが語順を学習しにくいことを確認する。
• 機械翻訳の学習目的で訓練された場合、SANはWRDタスクにおいてRNN や DiSAN を上回る性能を示す。これは、学習目的がアーキテクチャ単体よりも語順の捉え込みを効果的に可能にする。
• 位置埋め込みは、特にNMTの文脈において、SANが語順を学習できるようにする上で極めて重要な役割を果たす。再帰の欠如を補完する。
• 自己注意と再帰を組み合わせたDiSANは、語順学習においてSANよりも普遍的に優れている。再帰モデリングが耐性を高めることを示唆する。
• RNNベースのモデルは、NMTで訓練中にこのようなノイズにさらされていないため、語順摂動に対してより感受性が高く、性能低下が顕著に現れる。
• SANベースのNMTモデルは、テスト入力における語順ノイズに対してより耐性があり、訓練段階で異常な語順情報を保持する能力を学習しているため、一般化性能が優れている。