[論文レビュー] 75 Languages, 1 Model: Parsing Universal Dependencies Universally

Dan Kondratyuk, Milan Straka|arXiv (Cornell University)|Apr 3, 2019

Natural Language Processing Techniques参考文献 38被引用数 23

ひとこと要約

UDify は、75 語の 124 個の Universal Dependencies 樹木銀行を統合した1つのデータセットで微調整された多言語・多タスク変換モデルです。多言語 BERT エンコーダーとタスク固有のレイヤー注意機構、強力な正則化を活用することで、すべての言語で UPOS、UFeats、語彙素、UAS、LAS において最先端または競争力のある性能を達成しています。特に低リソース言語において顕著な向上が見られ、未学習の言語に対しても強力なゼロショット一般化性能を示します。

ABSTRACT

We present UDify, a multilingual multi-task model capable of accurately predicting universal part-of-speech, morphological features, lemmas, and dependency trees simultaneously for all 124 Universal Dependencies treebanks across 75 languages. By leveraging a multilingual BERT self-attention model pretrained on 104 languages, we found that fine-tuning it on all datasets concatenated together with simple softmax classifiers for each UD task can result in state-of-the-art UPOS, UFeats, Lemmas, UAS, and LAS scores, without requiring any recurrent or language-specific components. We evaluate UDify for multilingual learning, showing that low-resource languages benefit the most from cross-linguistic annotations. We also evaluate for zero-shot learning, with results suggesting that multilingual training provides strong UD predictions even for languages that neither UDify nor BERT have ever been trained on. Code for UDify is available at https://github.com/hyperparticle/udify.

研究の動機と目的

• 75 語で、普遍的品詞、屈曲的機能、語彙素、依存構造を一括して予測できる統合的多言語モデルの開発。
• すべての UD 樹木銀行を連結して学習することで、性能が向上するかどうか、特に低リソース言語において評価すること。
• 多言語事前学習による言語間転送を活用し、訓練中に見られなかった言語に対してもゼロショット一般化が可能かどうかを評価すること。
• 多言語 BERT の自己注意機構が、多様な言語に一般化可能な句構造パターンを捉えられるかどうかを調査すること。
• 各言語ごとに別々のモデルを訓練する必要を減らすために、すべての言語で高い性能を示す単一モデルの有効性を示すこと。

提案手法

• 104 語をカバーする多言語 BERT base モデルを、すべての 124 個の UD 樹木銀行を連結したデータセットで微調整し、全言語に共通する文脈的埋め込みを用いる。
• 各 UD アノテーションタスク（UPOS、UFeats、Lemmas、Deps）のための言語に依存しない構文的表現を抽出するために、タスク固有のレイヤーごとの注意機構を適用。
• BERT の文脈的トークン表現の上に、各タスク（UPOS、UFeats、Lemmas、Deps）に対して単純なソフトマックス分類器を適用。
• 過学習を防ぐために、入力マスキング、ドロップアウトの増加、重みの凍結、特徴的微調整、レイヤーごとのドロップアウトを実装する強力な正則化を適用。
• 全モデルをエンドツーエンドで学習し、全 UD アノテーションタイプにわたる多タスク学習を可能にする。
• 訓練データのない樹木銀行に対してゼロショット性能を評価し、未学習の言語への一般化能力を検証。

実験結果

リサーチクエスチョン

• RQ1 1 つの多言語変換モデルが、75 語すべてで主要な UD アノテーションタスクにおいて最先端の性能を達成できるか？
• RQ2 すべての UD 樹木銀行を統合して学習することで、性能が向上するか、特に低リソース言語において顕著な向上が見られるか？
• RQ3 訓練中に見られなかった言語（ゼロショット学習）に対し、どの程度一般化できるか？
• RQ4 多言語事前学習による BERT は、依存解析の文脈で言語間構文一般化を効果的に捉えられるか？
• RQ5 BERT の埋め込みに標準的な分類ヘッドではなく、タスク固有のレイヤー注意機構を適用することで性能が向上するか？

主な発見

• UDify は、75 語すべてで UPOS、UFeats、語彙素、UAS、LAS において最先端または競争力のある結果を達成しており、特に UAS と LAS で顕著な向上が見られた。
• 低リソース言語は多言語学習により最も恩恵を受け、単語ベースのベースラインより顕著な性能向上を示した。
• ゼロショット言語に対しても効果的に一般化しており、それらの言語に対しては微調整なしでも高品質な予測を生成した。
• レイヤーごとのドロップアウトや重みの凍結を含む強力な正則化が、大規模な多言語データセットでの微調整における過学習防止に不可欠であった。
• 多言語 BERT の自己注意機構は、言語を越えて一般化可能な構文パターンを捉えており、効果的な言語間転送を可能にした。
• UDify モデルの多言語 BERT 重みを個別言語で微調整することで、個別言語の性能がさらに向上した。これは、学習済み表現の転送可能性を示している。