[論文レビュー] On Difficulties of Cross-Lingual Transfer with Order Differences: A Case Study on Dependency Parsing

Wasi Uddin Ahmad, Zhisong Zhang+4 more|arXiv (Cornell University)|Nov 1, 2018

Natural Language Processing Techniques参考文献 57被引用数 7

ひとこと要約

本稿は、依存解析における言語間転送に与える語順の違いの影響を、ニューラルアーキテクチャ設計の観点から調査する。特に、語順に依存するRNNと語順に依存しない自己注意機構（self-attention）モデルを比較し、自己注意機構モデルが、語順が顕著に異なる言語間でより優れた一般化性能を示すことを発見した。

ABSTRACT

Different languages might have different word orders. In this paper, we investigate cross-lingual transfer and posit that an order-agnostic model will perform better when transferring to distant foreign languages. To test our hypothesis, we train dependency parsers on an English corpus and evaluate their transfer performance on 30 other languages. Specifically, we compare encoders and decoders based on Recurrent Neural Networks (RNNs) and modified self-attentive architectures. The former relies on sequential information while the latter is more flexible at modeling word order. Rigorous experiments and detailed analysis shows that RNN-based architectures transfer well to languages that are close to English, while self-attentive models have better overall cross-lingual transferability and perform especially well on distant languages.

研究の動機と目的

• 言語間の語順の違いが依存解析における言語間転送に与える影響を調査すること。
• 語順に依存しない（自己注意機構）モデルが、語順に依存する（RNN）モデルよりも言語間転送で優れた性能を示すかどうかを評価すること。
• 語順のタイプ論的分類に基づいて言語の距離を定量化し、その言語距離と転送性能の相関関係を明らかにすること。
• 多様な言語系統で構成される多様な文法的構造を持つ言語間で、ニューラルアーキテクチャの一般化能力を評価すること。
• 特に言語対が遠く離れている場合に、アーキテクチャ設計が転送成功に与える影響を特定すること。

提案手法

• Universal Dependencies v2.2のツリーべンクから得た依存関係を用いて、言語固有の語順特徴ベクトルを構築した。
• 階層的クラスタリング（最近傍点法）を適用し、語順タイプ論的基準に基づいた言語の距離を可視化した。
• RNNベースおよび修正された自己注意機構（Transformer風）エンコーダー・デコーダーを用いて依存解析器を訓練した。
• 単一ソース転送設定のもとで、英語から30の他の言語への言語間転送性能を評価した。
• F1スコアを用いて転送性能を測定し、結果を『As-source』（ソースごとの平均）および『As-target』（ターゲットごとの平均）の指標で集約した。
• ピアソン相関を用いて、言語距離と転送性能の相関関係を検証し、仮説を検証した。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの選択（RNN 対 自己注意機構）が、依存解析における言語間転送性能に顕著な影響を与えるか？
• RQ2 語順タイプ論的分類が、ニューラルモデルの言語間での転送性にどのように影響するか？
• RQ3 語順に依存しないモデルが、言語的に遠く離れた言語へ転送する際、どれほど語順に依存するモデルを上回るか？
• RQ4 語順に基づく言語距離と転送性能の低下の間に測定可能な相関関係が存在するか？
• RQ5 自己注意機構は、言語間NLP転送における文法的語順の違いの悪影響を軽減できるか？

主な発見

• 自己注意機構ベースのモデルは、RNNベースのモデルよりも顕著に優れた言語間転送性能を示した。特に、語順が顕著に異なる言語間で顕著であった。
• As-source性能と言語距離との間のピアソン相関係数は -0.90 であり、強い逆相関を示している。言語距離が高くなるほど、転送性能が低下する傾向がある。
• As-target性能についても言語距離と強い逆相関（r = -0.87）を示しており、語順が転送の難易度に与える影響を裏付けている。
• RNNベースのモデルは、英語に近い言語（例：ドイツ語、オランダ語）では良好な性能を示したが、日本語や韓国語のような遠く離れた言語では著しく性能が低下した。
• 自己注意機構モデルは、サインオート・チベット語系、ウロ・アルタイ系、アフロ・アシアティック系など多様な言語系統をカバーし、タイプ論的差異に対して高い耐性を示した。
• 結果から、語順に依存しないモデルは、言語固有の語順パターンへの過学習を低減することで、言語間でより優れた一般化性能を示すという仮説が裏付けられた。