[論文レビュー] Cross-Lingual Relation Extraction with Transformers

Jian Ni, Taesun Moon+2 more|arXiv (Cornell University)|Oct 16, 2020

Topic Modeling参考文献 32被引用数 6

ひとこと要約

本論文は、多言語トランスフォーマー（mBERT/XLM-R）を用いたゼロショットクロスリンガル関係抽出手法を提案する。エンティティの位置と種別情報を統合した独自の符号化方式を採用し、ターゲット言語のアノテーションやクロスリンガルリソースを一切必要としない。モデルは、2つのデータセットで、教師ありターゲット言語モデルの精度の68–89％を達成し、低リソース言語への高い転送効率を示している。

ABSTRACT

Relation extraction (RE) is one of the most important tasks in information extraction, as it provides essential information for many NLP applications. In this paper, we propose a cross-lingual RE approach that does not require any human annotation in a target language or any cross-lingual resources. Building upon unsupervised cross-lingual representation learning frameworks, we develop several deep Transformer based RE models with a novel encoding scheme that can effectively encode both entity location and entity type information. Our RE models, when trained with English data, outperform several deep neural network based English RE models. More importantly, our models can be applied to perform zero-shot cross-lingual RE, achieving the state-of-the-art cross-lingual RE performance on two datasets (68-89% of the accuracy of the supervised target-language RE model). The high cross-lingual transfer efficiency without requiring additional training data or cross-lingual resources shows that our RE models are especially useful for low-resource languages.

研究の動機と目的

• ターゲット言語に人為的アノテーションデータを必要としないクロスリンガル関係抽出モデルの開発。
• 平行コーパス、機械翻訳システム、対応語対などのクロスリンガルリソースに依存しないことの実現。
• 入力系列にエンティティの位置と種別情報を効果的に符号化することで、ゼロショット転送性能の向上。
• 多言語統合学習が多様な言語やスクリプト間での一般化性能を向上させるかの評価。
• 英語ラベルデータのみを用いて、特に低リソース言語において高いクロスリンガル転送効率を示すことの実証。

提案手法

• クロスリンガル表現学習のバックボーンとして、事前学習済みの多言語言語モデル（mBERTおよびXLM-R）を採用。
• エンティティの位置と種別を特別トークンで明示的にマークする独自の入力符号化方式を導入。
• 文脈に依存する表現に基づいてエンティティペア間の関係タイプを予測する、トランスフォーマー基盤の分類ヘッドを採用。
• モデルを英語ラベルデータのみで訓練し、他の言語に直接適用するが、ファインチューニングを一切行わない。
• 複数の言語のデータを1つの共有モデルに統合することで、多言語統合学習を実施。
• ソース言語から他の言語への転送性能を評価するため、正規化されたクロスリンガル転送効率指標ρを用いる。

実験結果

リサーチクエスチョン

• RQ1 英語データのみで学習した関係抽出モデルが、ターゲット言語のアノテーションなしに、低リソース言語でも強力なゼロショット性能を達成できるか？
• RQ2 提案された符号化方式は、クロスリンガル転送に向け、エンティティの位置と種別情報を効果的に捉えられるか？
• RQ3 多言語統合学習は、個別の言語で別々に学習した単言語モデルと比較して性能向上をもたらすか？
• RQ4 異なる言語族やスクリプトを用いる言語間で、モデルの性能はどのように変動するか？
• RQ5 他の言語と比較して、英語がソース言語としての相対的転送効率はどの程度高いか？

主な発見

• 提案されたXLM-R-ETM-EMPモデルは、ゼロショットクロスリンガル関係抽出において、教師ありターゲット言語モデルのF1スコアの68–89％を達成した。
• 依存構文解析器や品詞タグ付き器を一切使用しないにもかかわらず、複数のディープニューラルネットワークベースの英語REモデルを上回る性能を示した。
• 全言語のデータを統合して行う多言語統合学習は、各言語ごとに別々に学習した単言語モデルよりも優れた性能を達成した。
• 異なる言語族に属する言語や異なるスクリプトを使用する言語においても、多言語モデルは一貫した性能を維持した。
• 英語は最も高いクロスリンガル転送効率（ρ）を示し、ゼロショット転送における最適なソース言語であることが明らかになった。
• クロスリンガルリソースや言語固有のリソースを一切必要としないにもかかわらず、クロスリンガル関係抽出分野でSOTAの性能を達成した。