[論文レビュー] Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer

Marko Vidoni, Ivan Vulić+1 more|arXiv (Cornell University)|Dec 11, 2020

Topic Modeling参考文献 33被引用数 25

ひとこと要約

本稿では、多言語トランスフォーマーにおけるゼロショットクロスリンガル転移のための直交言語およびタスクアダプタ（orthoadapters）を提案する。アダプタ表現が事前学習済みモデル特徴と直交するように制約を課すことにより、重複しない新しい知識を統合する。実験の結果、特に複雑なNLIタスクにおいて顕著な性能向上が得られ、直交性が冗長性を低減することで転移性能が向上することを示しているが、最適な設定はタスクおよびターゲット言語に強く依存する。

ABSTRACT

Adapter modules, additional trainable parameters that enable efficient fine-tuning of pretrained transformers, have recently been used for language specialization of multilingual transformers, improving downstream zero-shot cross-lingual transfer. In this work, we propose orthogonal language and task adapters (dubbed orthoadapters) for cross-lingual transfer. They are trained to encode language- and task-specific information that is complementary (i.e., orthogonal) to the knowledge already stored in the pretrained transformer's parameters. Our zero-shot cross-lingual transfer experiments, involving three tasks (POS-tagging, NER, NLI) and a set of 10 diverse languages, 1) point to the usefulness of orthoadapters in cross-lingual transfer, especially for the most complex NLI task, but also 2) indicate that the optimal adapter configuration highly depends on the task and the target language. We hope that our work will motivate a wider investigation of usefulness of orthogonality constraints in language- and task-specific fine-tuning of pretrained transformers.

研究の動機と目的

• 大量多言語トランスフォーマー（MMTs）における多言語性の Curse に対処すること。特に、低リソース言語の表現品質が低下する問題を解決すること。
• アダプタモジュールが事前学習済みMMTパラメータにすでに存在する知識を複製するのではなく、新しい非冗長な情報を捉えるようにすることで、ゼロショットクロスリンガル転移を改善すること。
• アダプタ表現と事前学習済みMMTレイヤーとの間の直交性を強制することで、下流タスクの転移性能が向上するかどうかを検証すること。
• 多様なタスクおよび低リソース言語において、言語固有およびタスク固有のorthoadaptersの有効性を評価すること。
• orthogonality制約がアダプタベースのファインチューニングにおける知識統合の効率性と有効性を高めるかどうかを調査すること。

提案手法

• orthoadaptersの提案：アダプタの隠れ表現が対応するMMTレイヤーの表現と直交するように、追加の直交性損失を用いて訓練するアダプタモジュールを提案する。
• 言語固有のorthoadaptersを、モノリンガルコーパス上でマスクド言語モデリングにより訓練し、訓練中に直交性損失を適用することで、事前学習済みMMT特徴と補完的になるように制約を課す。
• タスク固有のorthoadaptersを、固定されたソース言語用orthoadaptersを用いて、ソース言語データ上で訓練する。タスクの目的関数にはクロスエントロピー損失を、同じ直交性制約を適用する。
• ソース言語用orthoadaptersをターゲット言語用orthoadaptersに置き換えることで、ゼロショット転移を実現する。この際、タスクアダプタは固定されたままとする。
• MMT出力とアダプタ出力を組み合わせるリサイジス・コンネクション機構を用い、直交性制約をアダプタの寄与に適用する。
• 10種類のタイプオロジカルに多様な言語で、3つのタスク（POSタギング、NER、NLI）を対象に評価し、直交的および非直交的アダプタバージョンを比較する。

実験結果

リサーチクエスチョン

• RQ1 アダプタ表現と事前学習済みMMTレイヤーとの間の直交性を強制することで、ゼロショットクロスリンガル転移性能が向上するか？
• RQ2 直交性の効果は、タスクの複雑さに応じてどのように変化するか、特にNLPタスクの複雑さの観点からどうなるか？
• RQ3 直交性の有効性は、ターゲット言語およびそのリソースレベルにどの程度依存するか？
• RQ4 タスク固有のorthoadaptersは直交性制約から利益を受けることができるか。もしそうなら、どのような条件下でそうなるか？
• RQ5 言語固有とタスク固有のorthoadaptersの使用にはトレードオフがあるか。それらの組み合わせが性能に与える影響はいかなるものか？

主な発見

• 直交的言語アダプタ（l-ort）は、複雑なNLIタスクにおいてゼロショットクロスリンガル転移性能を顕著に向上させ、l-ort+t-noo設定が平均性能で最も高い結果を示した。
• POSタギングでは、l-ort+t-nooはベースラインに対してわずかな向上を示したが、主に中国語の向上に起因しており、言語間で一貫性に欠ける結果となった。
• NERでは、l-ort+t-nooはやや高い平均的向上を達成したが、性能のばらつきが大きく、イルオ語やアラビア語では向上した一方、クエチャ語やモルジン語では低下した。
• タスク固有のorthoadapters（t-ort）は、ラテン文字ではないスクリプトを用いる言語（例：アラビア語、中国語、ヒンディー語）のUD-POSタスクで顕著な向上を示したが、NLIタスクでは効果がなく、場合によっては性能低下を引き起こした。
• 言語およびタスクのorthoadaptersを組み合わせると、性能が低下する傾向にあり、これは干渉や矛盾する最適化目的の可能性を示唆している。
• 直交性の最適な使用法は、タスクおよび言語に強く依存しており、一様なアダプタ設定が有効でないことが示された。