[論文レビュー] Near or Far, Wide Range Zero-Shot Cross-Lingual Dependency Parsing.

Wasi Uddin Ahmad, Zhisong Zhang+4 more|arXiv (Cornell University)|Nov 1, 2018

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿は、多様な言語間距離をカバーする多言語依存解析を調査し、自己注意機構を用いたモデルが、語順のモデリングにおいてより柔軟性があるため、ゼロショット転移においてRNNベースのエンコーダーを上回ることを提案している。英語のコーパスのみで訓練された自己注意パーサーは、31ヶ国の言語に効果的に一般化し、近縁言語および遠縁言語の両方において優れた耐性を示している。

ABSTRACT

Cross-lingual transfer is the major means toleverage knowledge from high-resource lan-guages to help low-resource languages. In this paper, we investigate cross-lingual trans-fer across a broad spectrum of language dis-tances. We posit that Recurrent Neural Net-works (RNNs)-based encoders, since explic-itly incorporating surface word order, are brit-tle for transferring across distant languages,while self-attentive models are more flexibleon modeling word order information; thusthey would be more robust in the cross-lingualtransfer setting. We test our hypothesis bytraining dependency parsers on only Englishcorpus and evaluating them on 31 other lan-guages. With detailed analysis, we find inter-esting patterns showing that RNNs-based ar-chitectures can transfer well for languages thatare close to English, while self-attentive mod-els are have better cross-lingual transferabilityacross a wide range of languages.

研究の動機と目的

• 英語から近縁言語から遠縁言語までの広範な言語間距離における多言語転送性能を評価すること。
• RNNベースのエンコーダーが、固定された語順依存性に起因して多言語転送において脆弱であるかどうかを調査すること。
• 自己注意モデルが多様な言語においてゼロショット依存解析でより優れた一般化性能を示すかどうかを評価すること。
• 英語から低リソース言語への構文知識転送において、RNNと自己注意アーキテクチャの耐性を比較すること。

提案手法

• RNNベースおよび自己注意エンコーダーの両アーキテクチャを用いて、英語コーパスのみで依存パーサーを訓練すること。
• 訓練されたパーサーを31ヶ国の低リソース言語で評価し、ゼロショット転送性能を測定すること。
• 自己注意メカニズムを活用し、RNNが逐次的順序に依存するのに対し、語順情報をより柔軟にモデリングすること。
• 言語同士のタイプロジカル距離の異なるペアを対象に、転送性能を分析し、モデルの耐性を評価すること。
• 定性的および定量的分析を詳細に行い、多言語環境下でのRNNと自己注意モデルの比較を実施すること。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのエンコーダーの性能は、英語からの距離が異なる言語における多言語依存解析でどのように変化するか？
• RQ2 自己注意モデルは、RNNベースのモデルと比較して、遠縁言語においてどの程度一般化するか？
• RQ3 RNNが語順を明示的にモデリングするため、構文構造が異なる言語への転送性が制限されるのか？
• RQ4 自己注意メカニズムは、表面的な語順にあまり依存しないため、より耐性のある多言語転送を可能にするか？

主な発見

• RNNベースのアーキテクチャは、ドイツ語やフランス語など英語に近縁な言語において、強力な転送性能を示している。
• 自己注意モデルは、近縁言語から遠縁言語までの広範な言語間距離において、優れた多言語転送性を示している。
• 自己注意メカニズムの柔軟性により、低リソース言語における多様な語順や構文構造の処理がより効果的に行える。
• RNNは、英語とは著しく異なる語順を持つ言語への知識転送において脆弱である。これは、逐次処理に依存しているためである。
• 自己注意パーサーは、多様なタイプロジカルな言語ファミリーにわたり一貫した性能を示しており、ゼロショット設定におけるより高い耐性を示している。