[論文レビュー] Neural Cross-Lingual Named Entity Recognition with Minimal Resources

Jiateng Xie, Zhilin Yang+3 more|arXiv (Cornell University)|Aug 29, 2018

Topic Modeling参考文献 47被引用数 12

ひとこと要約

本論文は、二言語埋め込みを用いて言語間の語彙項目をマッピングし、自己注意機構を用いて語順の違いを処理する、クロスリンガル名前付きエンティティ認識手法を提案する。この手法は、スペイン語、オランダ語、ドイツ語などの低リソース言語において、最小限のリソース（必要に応じてターゲット言語でのラベル付きデータがゼロでも可）で最先端または競争力のある性能を達成する。本手法は埋め込みベースの翻訳と文字レベル特徴を組み合わせており、ウイグル語のような低リソース言語に対しても効果的な非教師あり転送を可能にする。

ABSTRACT

For languages with no annotated resources, unsupervised transfer of natural language processing models such as named-entity recognition (NER) from resource-rich languages would be an appealing capability. However, differences in words and word order across languages make it a challenging problem. To improve mapping of lexical items across languages, we propose a method that finds translations based on bilingual word embeddings. To improve robustness to word order differences, we propose to use self-attention, which allows for a degree of flexibility with respect to word order. We demonstrate that these methods achieve state-of-the-art or competitive NER performance on commonly tested languages under a cross-lingual setting, with much lower resource requirements than past approaches. We also evaluate the challenges of applying these methods to Uyghur, a low-resource language.

研究の動機と目的

• ターゲット言語にラベル付き学習データが一切ない低リソース言語における名前付きエンティティ認識の課題に対処すること。
• 二言語埋め込みと最近傍翻訳を用いて、ソース言語とターゲット言語間の語彙マッピングを改善すること。
• 順序に依存しない自己注意機構を用いて、言語間の語順の違いを軽減すること。
• 最小限の外部リソースで、非教師ありクロスリンガル転送において高いNER性能を達成すること。
• 並列コーパスや辞書が乏しいような低リソース言語（例：ウイグル語）に対して本手法を評価すること。

提案手法

• 小さなシード語彙を用いて、ソース言語およびターゲット言語の単語埋め込みを共有の二言語埋め込み（BWE）空間に射影する。
• 共有のBWE空間内での最近傍探索により語の翻訳を実行し、完全な並列コーパスがなくても離散的翻訳を可能にする。
• 翻訳されたターゲット言語のデータ上でニューラルNERモデルを学習し、タグ精度の向上を図るために文字レベル特徴を保持する。
• 入力トークンの再順序化を柔軟に許容する自己注意機構をニューラルアーキテクチャに組み込み、語順の違いへの感受性を低減する。
• 共有埋め込み空間と注意機構を統合する共同学習目的関数を用い、言語間での一般化性能を向上させる。
• ラベル付きデータがターゲット言語に一切不要な非教師あり設定で本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット言語にラベル付きデータが一切ない状況でも、低リソースクロスリンガルNERシステムを構築できるか？
• RQ2 埋め込みベースの翻訳と離散的最近傍語マッピングを組み合わせたハイブリッドアプローチは、語彙アライメントにどの程度有効か？
• RQ3 自己注意機構は、クロスリンガルNERにおける語順の乖離に及ぼす影響をどの程度軽減できるか？
• RQ4 翻訳品質や埋め込み品質が低い状況下でも、ウイグル語のような極めて低リソース言語に対して本手法はどの程度の性能を示すか？
• RQ5 従来手法と比較して顕著にリソース要件を削減しつつ、最先端の性能を達成できるか？

主な発見

• 本手法は、非教師あり転送下でスペイン語およびオランダ語のクロスリンガルNERにおいて最先端の性能を達成し、従来手法を上回る。
• ドイツ語に対しても競争力ある結果を示しており、最小限のリソースで複数言語にわたる堅牢性を確認した。
• 並列コーパスや辞書が乏しく、埋め込み品質が低いウイグル語に対しても、本手法は良好な性能を発揮した。
• BWEベースの翻訳と自己注意機構の組み合わせは、単独で使用する場合よりも優れた性能を示し、特に低リソース環境下で顕著であった。
• 敵対的学習と同一文字列マッピング手法はウイグル語では失敗し、F1スコアが約10にとどまった。これは、埋め込み品質の低さと文字セットの非互換性が原因であった。
• 大規模な並列コーパスやWikipediaに類似したリソースに依存する必要を減らし、真に低リソース言語に対しても適した手法であると示された。