[論文レビュー] TriggerNER: Learning with Entity Triggers as Explanations for Named Entity Recognition

Bill Yuchen Lin, Dong-Ho Lee+5 more|arXiv (Cornell University)|Apr 16, 2020

Topic Modeling参考文献 25被引用数 11

ひとこと要約

この論文では、名前付きエンティティの認識を促す短い説明的フレーズである「エンティティトリガー」を導入し、トリガー表現とソフトマッチングを共同で学習する『トリガーマッチングネットワーク（TMN）』を提案する。トリガーを含むデータの20％のみを用いることで、標準的なアノテーションデータの70％を用いた場合と同等の性能を達成し、アノテーションコストを顕著に削減するとともに、モデルの解釈可能性を向上させる。

ABSTRACT

Training neural models for named entity recognition (NER) in a new domain often requires additional human annotations (e.g., tens of thousands of labeled instances) that are usually expensive and time-consuming to collect. Thus, a crucial research question is how to obtain supervision in a cost-effective way. In this paper, we introduce "entity triggers," an effective proxy of human explanations for facilitating label-efficient learning of NER models. An entity trigger is defined as a group of words in a sentence that helps to explain why humans would recognize an entity in the sentence. We crowd-sourced 14k entity triggers for two well-studied NER datasets. Our proposed model, Trigger Matching Network, jointly learns trigger representations and soft matching module with self-attention such that can generalize to unseen sentences easily for tagging. Our framework is significantly more cost-effective than the traditional neural NER frameworks. Experiments show that using only 20% of the trigger-annotated sentences results in a comparable performance as using 70% of conventional annotated sentences.

研究の動機と目的

• ニューラルNERモデルの学習に必要な人間によるアノテーションデータの高コストを低減するため、説明的スーパービジョンの新しい形を導入すること。
• エンティティトリガー（人間がエンティティを認識するのを促すフレーズ）が、効果的で低コストなスーパービジョン信号として機能するかどうかを調査すること。
• 未観測の文に一般化できるように、トリガー表現の学習とソフトマッチングを共同で行うモデルを開発すること。
• エンティティトリガーと標準的なエンティティアノテーションを組み合わせることで、NERの一般化性能と解釈可能性を向上させること。
• コミュニティ利用を目的として、2つのベンチマークNERデータセットに14,708件のクラウドソーシングされたトリガーを公開すること。

提案手法

• 2つの主流のNERデータセットに、エンティティ認識を促す短く意味的意味を持つフレーズ（例：レストランの場合は「〜で昼食をとった」）である14,708件のエンティティトリガーをクラウドソーシング。
• トリガーマッチングネットワーク（TMN）を提案。3つのモジュールから構成されるフレームワーク：トリガーエンコーダ、自己注意を備えた意味的トリガーマッチングモジュール、およびシーケンスタガー。
• TMNを2段階で訓練：まず、トリガークラスファイアとソフトマッチングモジュールを同時に最適化し、次に、エンコーディングされた文と学習済みのトリガーレプリゼンテーションに基づいた注意機構を用いてタガーを精緻化。
• 自己注意を用いて、ラベルなしの文内のトリガーを学習済みのトリガーレプリゼンテーションに動的にマッチングさせ、未観測の例に対しても一般化を可能にする。
• エンティティアノテーションとトリガーアノテーションの両方をスーパービジョンとして活用し、少ないラベル付き例からパターンを学習可能にする。
• ソフトマッチングモジュールを設計して、語彙的重複だけでなく、意味的類似性に基づいて新しい文における関連するトリガーを同定する。

実験結果

リサーチクエスチョン

• RQ1 人間がエンティティを認識する理由を説明するフレーズ（エンティティトリガー）が、NERモデルの学習に効果的で低コストなスーパービジョン信号として機能するか？
• RQ2 トリガーレプリゼンテーションの学習とソフトマッチングの共同学習が、少データ学習環境における一般化性能を向上させるか？
• RQ3 トリガーを強化したモデルが、顕著に少ないアノテーションデータを用いても、完全にスーパービジョンされたモデルと同等の性能を達成できるか？
• RQ4 標準的なニューラルNERモデルと比較して、トリガーの導入がモデルの解釈性をどのように向上させるか？
• RQ5 トランスファーブルなトリガーパattersを用いて、本フレームワークを低リソースドメインや言語に拡張可能か？

主な発見

• トリガーアノテーション付き文の20％のみを用いることで、標準アノテーションデータの70％を用いた場合と同等のNER性能を達成し、アノテーションコストの顕著な削減を実証した。
• トリガーマッチングネットワーク（TMN）は、最小限のラベル付きデータでベンチマークデータセットにおいて最先端の性能を達成し、低データ環境下で標準的なニューラルNERベースラインを上回った。
• エンティティ名がマスキングされたりランダムトークンに置き換えられても、意味的トリガーのマッチングにより、未観測の文に対して効果的に一般化できた。
• トリガーの導入により、モデルが人間が理解できるキーコンテキストフレーズを用いて予測を同定・説明できるようになり、解釈性が向上した。
• 14,708件のクラウドソーシングされたトリガーを含むデータセットを公開し、今後の低リソースおよび解釈可能なNER研究を促進した。
• このフレームワークは、既存のNERパイプラインと互換性があり、遠隔監視やアクティブラーニングなどの他の技術と組み合わせて利用可能である。