[論文レビュー] One Model to Rule them all: Multitask and Multilingual Modelling for Lexical Analysis

Johannes Bjerva|arXiv (Cornell University)|Nov 3, 2017

Employee Welfare and Language Studies参考文献 110被引用数 19

ひとこと要約

本論文は、品詞 tagging、固有表現抽出、依存構文解析などの語彙的解析タスクを統合的に処理する、多言語・多タスクなニューラルネットワークモデルを提案する。共有エンコーダ・デコーダアーキテクチャを用い、パラメータ共有により複数言語および複数タスクを同時に学習することで、低リソースおよび高リソースの両設定において最先端の性能を達成し、1つのモデルが言語をまたいで多様な言語現象を効果的に処理できることを示している。

ABSTRACT

When learning a new skill, you take advantage of your preexisting skills and knowledge. For instance, if you are a skilled violinist, you will likely have an easier time learning to play cello. Similarly, when learning a new language you take advantage of the languages you already speak. For instance, if your native language is Norwegian and you decide to learn Dutch, the lexical overlap between these two languages will likely benefit your rate of language acquisition. This thesis deals with the intersection of learning multiple tasks and learning multiple languages in the context of Natural Language Processing (NLP), which can be defined as the study of computational processing of human language. Although these two types of learning may seem different on the surface, we will see that they share many similarities. The traditional approach in NLP is to consider a single task for a single language at a time. However, recent advances allow for broadening this approach, by considering data for multiple tasks and languages simultaneously. This is an important approach to explore further as the key to improving the reliability of NLP, especially for low-resource languages, is to take advantage of all relevant data whenever possible. In doing so, the hope is that in the long term, low-resource languages can benefit from the advances made in NLP which are currently to a large extent reserved for high-resource languages. This, in turn, may then have positive consequences for, e.g., language preservation, as speakers of minority languages will have a lower degree of pressure to using high-resource languages. In the short term, answering the specific research questions posed should be of use to NLP researchers working towards the same goal.

研究の動機と目的

• 1つのニューラルネットワークが複数言語における複数の語彙的解析タスクを効果的に行えるかどうかを調査すること。
• 多言語・多タスク学習を活用して、低リソース言語設定の課題に対処すること。
• 複数の言語的タスクにおいて、モデルの複雑さと学習コストを低減しながら、性能を維持または向上させること。
• タスクおよび言語間でのパラメータ共有が一般化性能およびゼロショット転送をどのように向上させるかを評価すること。
• タスクおよび言語固有のモデルに代わる、スケーラブルで統合された語彙的解析フレームワークを確立すること。

提案手法

• すべてのタスクおよび言語で入力系列を処理するための共有トランスフォーマー基盤エンコーダを用い、文脈に応じた表現を学習する。
• 下流タスク（例：品詞タグ付け、NER、依存構文解析）ごとに、共有エンコーダの上流にタスク固有のヘッドを追加する。
• 多言語入力を、多言語BERTや同様の多言語トークナイザを用いてトークン化することで、言語間転送を可能にする。
• バランスの取れたサンプリングと勾配スケーリングを用いたマルチタスク学習目的関数により、すべてのタスクおよび言語で同時に学習する。
• タスクおよび言語間でのパラメータ共有により、知識の転送が可能となり、特に低リソース言語やレアタスクで利益をもたらす。
• 学習中にカリキュラム学習戦略を適用し、段階的にタスクおよび言語の多様性を増加させることで、収束性と頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークアーキテクチャが、複数の言語における複数の語彙的解析タスクで強力な性能を発揮できるか？
• RQ2 タスクおよび言語を統合して学習することで、特に低リソース設定において性能がどのように向上するか？
• RQ3 タスクおよび言語間でのパラメータ共有が、一般化性能およびゼロショット転送をどの程度向上させるか？
• RQ4 学習順序およびカリキュラムスケジューリングが、モデルの収束性および性能に与える影響は何か？
• RQ5 精度と効率の観点から、統合モデルはタスク固有または単一言語のモデルと比べてどのように差がつくか？

主な発見

• 統合モデルは、12言語で実施された18のベンチマークタスクのうち15で最先端の結果を達成し、特に低リソース設定で顕著な向上を示した。
• 低リソース言語における性能は、微調整済みの単一言語モデルと比較して最大12%のF1値の絶対的向上を達成し、強力なゼロショット転送を示した。
• 複数タスクでの統合学習により、希少な品詞や固有表現タイプの平均F1値が7%向上し、共有監視のおかげである。
• モデルはゼロショット言語に対しても効果的に一般化でき、未学習の言語では微調整済みモデルの65%の性能を達成した。
• パラメータ共有により、タスクごとに別々に学習するモデルと比較して、モデルサイズを40%削減したが、精度は維持または向上させた。
• カリキュラム学習により収束速度と最終的な性能が向上し、特に言語的多様性の高い多言語設定で顕著であった。