[論文レビュー] Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition

Shining Liang, Ming Gong+5 more|arXiv (Cornell University)|Jun 1, 2021

Topic Modeling参考文献 47被引用数 5

ひとこと要約

本稿では、教師モデルから生徒モデルへの知識伝達を向上させるために、強化学習に基づくインスタンス選別器を用いて、ラベルなしのターゲット言語データを活用する、クロスリンガル名前付きエンティティ認識のための新規フレームワークである強化反復的知識蒸留（RIKD）を提案する。本手法は、複数の低リソース言語において、情報量が多くノイズの少ないトレーニング例を繰り返し選別することで、産業界での評価において最大3.07 F1ポイントの向上を達成し、最先端の性能を実現した。

ABSTRACT

Named entity recognition (NER) is a fundamental component in many applications, such as Web Search and Voice Assistants. Although deep neural networks greatly improve the performance of NER, due to the requirement of large amounts of training data, deep neural networks can hardly scale out to many languages in an industry setting. To tackle this challenge, cross-lingual NER transfers knowledge from a rich-resource language to languages with low resources through pre-trained multilingual language models. Instead of using training data in target languages, cross-lingual NER has to rely on only training data in source languages, and optionally adds the translated training data derived from source languages. However, the existing cross-lingual NER methods do not make good use of rich unlabeled data in target languages, which is relatively easy to collect in industry applications. To address the opportunities and challenges, in this paper we describe our novel practice in Microsoft to leverage such large amounts of unlabeled data in target languages in real production settings. To effectively extract weak supervision signals from the unlabeled data, we develop a novel approach based on the ideas of semi-supervised learning and reinforcement learning. The empirical study on three benchmark data sets verifies that our approach establishes the new state-of-the-art performance with clear edges. Now, the NER techniques reported in this paper are on their way to become a fundamental component for Web ranking, Entity Pane, Answers Triggering, and Question Answering in the Microsoft Bing search engine. Moreover, our techniques will also serve as part of the Spoken Language Understanding module for a commercial voice assistant. We plan to open source the code of the prototype framework after deployment.

研究の動機と目的

• 高精度なNERモデルを、高価な人的アノテーションが伴わない低リソース言語に展開する課題に対処すること。
• アノテーション済みデータが限られる産業界環境において、大規模なラベルなしターゲット言語データを効果的に活用すること。
• ラベルなしデータから最も情報量の多いトレーニングインスタンスを動的に選別することで、クロスリンガルNERにおける知識蒸留を改善すること。
• 人的アノテーションデータへの依存を低減しつつ、多様な言語で高いモデル性能を維持できるスケーラブルでプロダクション対応のフレームワークを構築すること。

提案手法

• 強化されたインスタンス選別器は、モデルの信頼度、予測の一致度、意味的特徴、入力長を含む状態ベクトルをもとに、どのラベルなしターゲット言語例を蒸留に保持するかを方策ネットワークで決定する。
• 状態ベクトルには、予測信頼度（f_conf）、教師モデルと生徒モデルの予測一致度（f_agree）、意味的表現（f_semantic）、エンティティ特徴（f_entities）、入力長（f_length）などの特徴が含まれる。
• フレームワークは反復的知識蒸留を実行し、ラベルなしターゲット言語データと教師モデルの予測結果のみを用いて、複数ラウンドにわたり生徒モデルを改善する。
• 強化学習は、教師モデルと生徒モデルの予測ラベルの一貫性と情報量に基づいて得られる密な報酬信号を最大化することで、選別方策を最適化する。
• 本手法はラベルなしターゲットデータに依存せず、モデルの予測からの弱い監視信号を用いて蒸留を誘導する。
• 最終的なフレームワークは産業界での展開を想定しており、アブレーションスタディにより、f_conf、f_agree、f_semanticといった主要な状態特徴の重要性が確認された。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いて、ラベルなしターゲット言語データから情報量が多くノイズの少ないインスタンスを効果的に選別することで、クロスリンガル知識蒸留の性能を向上させることができるか？
• RQ2 提案されたRIKDフレームワークは、既存の知識蒸留および半教師あり学習手法と比較して、クロスリンガルNERにおいてどのように性能を発揮するか？
• RQ3 RIKDのインスタンス選別器における状態ベクトルのどの特徴が性能向上に最も寄与しているか？
• RQ4 RIKDは、ラベルなしターゲット言語データへの依存度をどの程度低減しつつ、NER性能を維持または向上させることができるか？
• RQ5 RIKDは、大規模かつ多言語処理が求められる実世界の産業応用環境に、実際に成功裏に展開可能か？

主な発見

• RIKDはクロスリンガルNERにおいて、産業界のテストセットで最大3.07 F1ポイントの向上を達成し、新たな最先端性能を実現した。
• CoNLL-2003ベンチマークでは、6つのターゲット言語で平均F1スコア65.36を達成し、ベースライン選別戦略を著しく上回った。
• アブレーションスタディにより、f_conf、f_agree、f_semanticが状態ベクトルにおいて最も重要な特徴であり、選別精度と性能向上に最も寄与することが確認された。
• 強化された選別手法により、1バッチあたり38.8％～60.8％のトレーニングケースが破棄されたことから、ノイズが多いか情報量の少ないインスタンスの効果的なフィルタリングが行われたことが示された。
• 実際のMicrosoft Bingでの展開では、Wuら（2020k）と比較して平均F1スコアが3.07ポイント向上し、優れた一般化性能と産業的実用性を示した。
• アラビア語（52.38 F1）や中国語（32.14 F1）など、低リソース言語を含む多様な言語で安定した性能を示し、ベースラインと比較して顕著な向上が得られた。