[論文レビュー] Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction

Yang Chen, Vedaant Shah+1 more|arXiv (Cornell University)|May 23, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文では、低リソース言語のテキストを英語に翻訳し、高リソース言語のNERモデルでアノテートしたのち、両言語からの予測を統合する翻訳・統合フレームワーク「TransFusion」を提案する。この手法は、25の低リソース言語を含むMasakhaNER2.0およびLORELEI NERで、微調整済みの英語モデルに対して最大+16、Translate-trainベースラインに対して+6.9のF1向上を達成し、最先端の性能を実現した。

ABSTRACT

Large language models (LLMs) combined with instruction tuning have shown significant progress in information extraction (IE) tasks, exhibiting strong generalization capabilities to unseen datasets by following annotation guidelines. However, their applicability to low-resource languages remains limited due to lack of both labeled data for fine-tuning, and unlabeled text for pre-training. In this paper, we propose TransFusion, a framework in which models are fine-tuned to use English translations of low-resource language data, enabling more precise predictions through annotation fusion. Based on TransFusion, we introduce GoLLIE-TF, a cross-lingual instruction-tuned LLM for IE tasks, designed to close the performance gap between high and low-resource languages. Our experiments across twelve multilingual IE datasets spanning 50 languages demonstrate that GoLLIE-TF achieves better zero-shot cross-lingual transfer over the base model. In addition, we show that TransFusion significantly improves low-resource language named entity recognition when applied to proprietary models such as GPT-4 (+5 F1) with a prompting approach, or fine-tuning different language models including decoder-only (+14 F1) and encoder-only (+13 F1) architectures.

研究の動機と目的

• 多言語モデルを用いた低リソース言語および言語的に不均衡な言語におけるクロスリンガルNERの性能ギャップを是正すること。
• ターゲット言語の微調整データが一切ないゼロショット設定において、既存のTranslate-trainおよび微調整アプローチの限界を克服すること。
• 翻訳された高リソース言語データと元の低リソース言語テキストからの予測を統合する、信頼性の高い推論時フレームワークを構築すること。
• 25の言語にわたる多様な低リソースNERデータセット（MasakhaNER2.0およびLORELEI NERを含む）に対して、この手法を評価すること。
• 翻訳誤りやアノテーション誤りに対しても耐性を示し、多言語モデルおよび大規模言語モデルと互換性があることを示すこと。

提案手法

• 翻訳・統合フレームワークは、ニューラル機械翻訳モデルを用いて、低リソース言語のテスト文を英語に翻訳する。
• 完全に教師ありの英語NERモデルが翻訳された文をアノテートし、高リソース側で高品質な予測を生成する。
• TransFusionは、元の低リソース言語入力と翻訳・アノテート済み英語入力からの予測を統合するように学習されたニューラルモデルである。
• モデルは、両モodalを注意機構で関連付けるライトフュージョン機構を採用しており、クロスアテンションや連結ベースの統合によって、どちらのソースからの誤りも是正できる。
• テスト時のみに翻訳とアノテーションに依存するため、ターゲット言語の微調整なしにゼロショット推論を可能にする。
• 大規模言語モデル（例：ChatGPT）に対しても、自己統合（self-fusion）を用いたプロンプト戦略が導入され、ゼロショット予測と翻訳・アノテート済み出力を統合する。

Figure 1: An illustration of developing TransFusion model for cross-lingual entity recognition from CoNLL2003 (Tjong Kim Sang and De Meulder, 2003 ) English to Tigrinya: (a) Creating training data to train TransFusion using EasyProject (Chen et al., 2023 ) ; (b) Training the TransFusion model, which

実験結果

リサーチクエスチョン

• RQ1 低リソース言語のテキストを高リソース言語に翻訳し、アノテーションを統合することで、ゼロショットクロスリンガルNERの性能が向上するか？
• RQ2 TransFusionモデルは、低リソースNERベンチマークにおいて、微調整済みの英語モデルやTranslate-trainベースラインと比較して、どのように性能を発揮するか？
• RQ3 TransFusionフレームワークは、翻訳誤りやソース言語の予測誤りに対してどれほど耐性を示すか？
• RQ4 自己統合を用いたこの統合フレームワークは、ChatGPTのような大規模言語モデルを用いたゼロショット設定へ拡張可能か？
• RQ5 統合時に追加の高リソース言語を組み込むことで、低リソース言語の性能がさらに向上するか？

主な発見

• MasakhaNER2.0データセットでは、微調整済みの英語モデルに対して最大+16のF1向上を達成し、ゼロショットクロスリンガルNERで最先端の性能を示した。
• LORELEI NERデータセットでは、英語の微調整に対して+10.7、Translate-trainベースラインに対して+3.9のF1向上を達成した。
• 600MのNLLB-200翻訳モデルを用いても、翻訳品質が低いにもかかわらず、Translate-trainを上回る性能を示した。
• 翻訳誤りやソース言語のアノテーション誤りを効果的に是正できることを事例研究で示した。たとえば、Translate-testは、誤った一致や誤検出により失敗するが、TransFusionはその問題を是正できる。
• Self-Fusionプロンプト戦略により、ChatGPTのMasakhaNER2.0におけるゼロショットNER性能が+6.3 F1向上し、LLMベースのゼロショット推論への実用性を示した。
• 複数の高リソース言語からの予測を統合することで、性能がさらなる向上を示し、多言語モデルとの相乗効果やスケーラビリティの可能性を示した。

Figure 4: Examples of NER errors in MasakhaNER2.0. TransFusion is more robust to translation errors and English NER prediction errors compared to Translate-Test, which relies on word alignments.