[論文レビュー] Choosing Transfer Languages for Cross-Lingual Learning

Yu-Hsiang Lin, Chian-Yu Chen+11 more|arXiv (Cornell University)|May 29, 2019

Natural Language Processing Techniques参考文献 41被引用数 33

ひとこと要約

本論文は、転移言語選択をクロスリンガル学習の学習-to-rank問題（LangRank）として扱い、データセット統計と言語的タイプロジーを組み合わせて、MT、EL、POS tagging、依存構文解析における低リソースタスク言語に対して最適な高資源転移言語を予測する。

ABSTRACT

Cross-lingual transfer, where a high-resource transfer language is used to improve the accuracy of a low-resource task language, is now an invaluable tool for improving performance of natural language processing (NLP) on low-resource languages. However, given a particular task language, it is not clear which language to transfer from, and the standard strategy is to select languages based on ad hoc criteria, usually the intuition of the experimenter. Since a large number of features contribute to the success of cross-lingual transfer (including phylogenetic similarity, typological properties, lexical overlap, or size of available data), even the most enlightened experimenter rarely considers all these factors for the particular task at hand. In this paper, we consider this task of automatically selecting optimal transfer languages as a ranking problem, and build models that consider the aforementioned features to perform this prediction. In experiments on representative NLP tasks, we demonstrate that our model predicts good transfer languages much better than ad hoc baselines considering single features in isolation, and glean insights on what features are most informative for each different NLP tasks, which may inform future ad hoc selection even without use of our method. Code, data, and pre-trained models are available at https://github.com/neulab/langrank

研究の動機と目的

• 特定の低リソースタスク言語に対する最適な転移言語を選択する問題を動機づけ、形式化する。
• データセット依存特徴とデータセット非依存特徴を用いて転移言語の有用性を予測するランキングモデル LangRank を提案する。
• LangRank が MT、EL、POS tagging、依存構文解析の4タスク全般で単一特徴のベースラインを上回ることを実証する。
• 全トレーニングデータが揃っていなくても有意義な推定の洞察を提供するために特徴量の重要度を分析する。

提案手法

• 特定のタスク言語 t に対する候補転移言語の集合に対して、転移言語選択を学習-to-rank問題として定式化する。
• 各言語ペア (t,a) に対して、データセットサイズ、Type-Token Ratio、語・サブワードの重複などのデータセット依存特徴と、URIEL からの遺伝的・統語的・音韻的・地理的・語彙・特徴距離などのデータセット非依存の言語距離を含む特徴を抽出する。
• 勾配ブースティング決定木モデル（GBDT）を LambdaRank と用いて、各転移言語の期待タスクスコア c_{t,a} に基づく順位付けリストを予測する。
• 複数のトレーニングタスク言語に渡って転移言語ペアを網羅的に評価し、ゴールドスタンダードなランキングを取得してトレーニングデータを構築する。
• NDCG@3 を用いてランキングを評価し、LangRank のバリエーション（全特徴、データセットのみ、URIELのみ）をベースラインと比較する。
• クロス-タスク実験（MT、EL、POS、DEP）と言語を一つ除外したクロスバリデーションを用いて一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型のランキングモデルは、伝統的なヒューリスティック基準よりもクロスリンガルNLPタスクの転移言語選択を改善できるか。
• RQ2 さまざまなNLPタスクにわたって、効果的な転移言語を予測するうえで最も有用な特徴は何か（データセット依存 vs データセット非依存）？
• RQ3 LangRank は MT、EL、POS tagging、依存構文解析の各タスクにおいて、単一特徴ベースラインおよび言語距離ベースラインと比較してどうなるか。
• RQ4 情報に基づく転移言語の選択に関する特徴量の重要性について、実用的な示唆はどのように得られるか。
• RQ5 typology のみの情報（URIEL特徴）のみが利用可能な場合でも、LangRank の予測はヒューリスティックなベースラインを上回るか。

主な発見

• LangRank は4つのNLPタスクすべてで、単一特徴ヒューリスティックを大きく上回る。
• データセット依存特徴と語彙距離を組み合わせると、転移言語の予測精度が一般に最も高くなる。特にMTとPOSではデータセット特徴が優位に寄与する。
• EL では文レベルのデータが欠けるとデータセット特徴の有用性が低下するが、語彙距離は依然として強い指針を提供する。
• LangRank（全特徴）は通常、ベースラインより高いNDCG@3 を達成する。MTとPOSではデータセットのみ特徴が一部設定で最良となる。
• 特徴量重要性の分析から、タスク固有のパターンが明らかになり、例えばデータセットサイズや語 overlap がMTの意思決定を左右する一方、地理的・統語的距離が低データ環境下のELとDEPを支配することが示される。
• 転移元タスクのための typology 情報のみ（UR IEL特徴）のみが利用可能な場合でも、LangRank はヒューリスティックなベースラインを上回り、対象タスクのリソース収集前の実用性を示す。