[論文レビュー] Sharing Network Parameters for Crosslingual Named Entity Recognition.

Rudramurthy, Mitesh M. Khapra+1 more|arXiv (Cornell University)|Jul 1, 2016

Topic Modeling参考文献 28被引用数 8

ひとこと要約

この論文は、リソース豊富な言語（L₂）とリソースが乏しい言語（L₁）の間で単語、文字、デコーダーのパラメータを共有するニューラルネットワークモデルを提案する。これにより、L₁は手作業で特徴を設計せずとも、L₂の豊富なアノテート済みデータから利益を得られる。この手法は、両言語を同時に学習することで、リソースが乏しい設定におけるNER性能を著しく向上させ、L₁の限られたデータでの学習に特化したモデルを上回る。

ABSTRACT

Most state of the art approaches for Named Entity Recognition rely on hand crafted features and annotated corpora. Recently Neural network based models have been proposed which do not require handcrafted features but still require annotated corpora. However, such annotated corpora may not be available for many languages. In this paper, we propose a neural network based model which allows sharing the decoder as well as word and character level parameters between two languages thereby allowing a resource fortunate language to aid a resource deprived language. Specifically, we focus on the case when limited annotated corpora is available in one language ($L_1$) and abundant annotated corpora is available in another language ($L_2$). Sharing the network architecture and parameters between $L_1$ and $L_2$ leads to improved performance in $L_1$. Further, our approach does not require any hand crafted features but instead directly learns meaningful feature representations from the training data itself. We experiment with 4 language pairs and show that indeed in a resource constrained setup (lesser annotated corpora), a model jointly trained with data from another language performs better than a model trained only on the limited corpora in one language.

研究の動機と目的

• リソースが乏しい言語における名前付きエンティティ認識のためのアノテート済みコーパスが限られているという課題に対処すること。
• 手作業で特徴を設計するのを避け、データから直接表現を学ぶこと。
• 豊富なアノテート済みデータを有する高リソース言語を活用することで、リソースが乏しい言語におけるNER性能を向上させること。
• 単語、文字、デコーダーの各レベルで知識を転送できるパラメータ共有メカニズムを設計すること。

提案手法

• 両言語に共通する共有ニューラルネットワークアーキテクチャが使用され、言語間で単語および文字レベルの埋め込みが固定されている。
• デコーダーレイヤーが言語間で共有され、名前付きエンティティタグの共同予測が可能になっている。
• 単語および文字表現が言語間で共同で学習され、言語的パターンの転送が可能になっている。
• モデルはL₁（リソースが乏しい）およびL₂（リソースが豊富な）コーパスの両方で同時に学習され、汎化性能の向上が図られている。
• 手作業で特徴を設計していない。すべての表現が生テキストからエンドツーエンドで学習されている。
• 高リソース言語のデータを活用することで、ゼロショットまたはフェイントショットの転移学習が可能になり、リソースが乏しい言語の性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 言語間でネットワークパラメータを共有することで、リソースが乏しい状況における名前付きエンティティ認識の性能が向上するか？
• RQ2 高リソース言語とリソースが乏しい言語を同時に学習することで、リソースが乏しい言語のみで学習した場合よりも性能が向上するか？
• RQ3 手作業で特徴を設計しないで、ニューラルモデルが有効な言語間表現を学習できるか？
• RQ4 単語、文字、デコーダーの各レベルでのパラメータ共有が、NERにおける転移学習をどの程度向上させるか？
• RQ5 言語間の言語的距離が異なるさまざまな言語ペアにおいて、モデルの性能はどのように変化するか？

主な発見

• 高リソース言語のデータと同時に学習することで、リソースが乏しい言語における性能が向上し、限定的なL₁コーパスでの学習に特化したモデルを上回っている。
• 単語、文字、デコーダーの各レベルでのパラメータ共有により、高リソース言語からリソースが乏しい言語への有効な知識転送が可能になっている。
• 手作業で特徴を設計する必要がなく、意味のある表現をエンドツーエンドで学習している。
• 4つの言語ペアにおける実験で、リソースが乏しい状況において一貫した性能向上が確認された。
• 多様な言語ペアにおいてモデルが頑健に動作しており、言語間転送メカニズムの一般化可能性が示された。