[論文レビュー] Adversarial Learning for Chinese NER from Crowd Annotations

YaoSheng Yang, Meishan Zhang+4 more|arXiv (Cornell University)|Jan 16, 2018

Topic Modeling参考文献 25被引用数 10

ひとこと要約

本稿は、ノイジーカラムアノテーションを用いた中国語 Named Entity Recognition (NER) のための対抗的学習フレームワークを提案する。共有 Bi-LSTM を用いて作業者に依存しない特徴を抽出し、アノテーター固有のパターンを学習するためのプライベート Bi-LSTM を活用することで、対話および e コマース分野から新たに作成された2つの中国語 NER データセットにおいて、強力なベースライン比で最大 F1 スコアが 2.38% 向上し、最先端の性能を達成した。

ABSTRACT

To quickly obtain new labeled data, we can choose crowdsourcing as an alternative way at lower cost in a short time. But as an exchange, crowd annotations from non-experts may be of lower quality than those from experts. In this paper, we propose an approach to performing crowd annotation learning for Chinese Named Entity Recognition (NER) to make full use of the noisy sequence labels from multiple annotators. Inspired by adversarial learning, our approach uses a common Bi-LSTM and a private Bi-LSTM for representing annotator-generic and -specific information. The annotator-generic information is the common knowledge for entities easily mastered by the crowd. Finally, we build our Chinese NE tagger based on the LSTM-CRF model. In our experiments, we create two data sets for Chinese NER tasks from two domains. The experimental results show that our system achieves better scores than strong baseline systems.

研究の動機と目的

• 低品質でノイジーなクラウドアノテーションデータ上で効果的な中国語 NER モデルを訓練する課題に対処すること。
• クラウドソーシングによるラベリングにおけるアノテーターのばらつきとラベルノイズの悪影響を軽減すること。
• エキスパートアノテーションデータが乏しい低リソース分野（例：対話や e コマース）における NER パフォーマンスを向上させること。
• 複数のクラウド作業者から共通のパターンとアノテーター固有のパターンを学習する深層学習フレームワークを開発すること。
• 対抗的訓練がノイジーなクラウドラベルから作業者に依存しない表現を効果的に抽出できることを示すこと。

提案手法

• 共有 Bi-LSTM を用いて、異なる作業者間で一貫するアノテーターに依存しない特徴を学習する。
• 各アノテーターごとに個別に訓練されるプライベート Bi-LSTM を用いて、アノテーター固有のラベリング行動をモデル化する。
• 複数のアノテーターの NER ラベルの系列を学習するためのラベル Bi-LSTM を訓練する。
• 作業者に依存しない特徴を学習させるために、共有 Bi-LSTM の特徴とラベル Bi-LSTM の特徴を区別する作業者識別器（discriminator）を訓練する。
• 共有 Bi-LSTM を、識別器の損失を最大化すると同時に NER 損失を最小化するように、対抗的学習により共同最適化する。
• 最終的な NER モデルは、共有 Bi-LSTM の特徴と CRF 层を組み合わせ、LSTM-CRF アーキテクチャを形成する。

実験結果

リサーチクエスチョン

• RQ1 中国語 NER において、ノイジーなクラウドアノテーションから対抗的学習が作業者に依存しない特徴を効果的に抽出できるか？
• RQ2 多数決投票と標準的な NER モデルと比較して、本モデルはクラウドアノテーションデータ上でどのように性能を発揮するか？
• RQ3 エキスパートアノテーションデータが限られた状況下で、本モデルは対話や e コマースなど異なるドメインにどれほど一般化できるか？
• RQ4 事前学習済み文字埋め込みの使用が、本対抗的クラウドアノテーション学習フレームワークのパフォーマンスにどのように寄与するか？
• RQ5 多数決投票を経由せずに、元のクラウドアノテーションデータ上で訓練された場合、本モデルは LSTM-CRF や CRF といった強力なベースラインを上回れるか？

主な発見

• 提案された ALCrowd モデルは、EC-UQ データセットにおいて強力な LSTM-CRF ベースライン比で F1 スコアが 2.38% 向上した。
• DL-PS データセットでは、LSTM-CRF と比較して F1 スコアが 1.08 点向上し、ドメインを問わず一貫した向上が確認された。
• すべてのベースラインと比較して統計的に有意に優れた性能（p < 10^-5）を示し、対抗的特徴学習の有効性を裏付けた。
• 事前学習済み文字埋め込みはパフォーマンスを顕著に向上させ、ランダム初期化された埋め込みを用いたモデルを上回った。
• 多数決投票は、曖昧な文において特に性能を劣化させた。これは、情報豊富なアノテーションのばらつきが失われたためである。
• ケーススタディの結果、ALCrowd は LSTM-CRF や多数決システムが見逃した名前付きエンティティ「Xiexie」を正しく同定できた。