[論文レビュー] Entity Recognition at First Sight: Improving NER with Eye Movement Information

Nora Hollenstein, Ce Zhang|arXiv (Cornell University)|Feb 26, 2019

Topic Modeling参考文献 30被引用数 12

ひとこと要約

本論文は、眼動態データから得られる注視埋め込みをニューラル名前付きエンティティ認識（NER）モデルに統合することで、注視行動特徴、特に語の品詞レベルに集約された特徴が、個々の設定およびクロスドメイン設定においてNER性能を顕著に向上させることを示している。主な貢献は、推論時にリアルタイムの眼動態データを必要としない有効なNER手法の開発であり、CoNLL-2003ベンチマークでF1スコアが3%向上した。

ABSTRACT

Previous research shows that eye-tracking data contains information about the lexical and syntactic properties of text, which can be used to improve natural language processing models. In this work, we leverage eye movement features from three corpora with recorded gaze information to augment a state-of-the-art neural model for named entity recognition (NER) with gaze embeddings. These corpora were manually annotated with named entity labels. Moreover, we show how gaze features, generalized on word type level, eliminate the need for recorded eye-tracking data at test time. The gaze-augmented models for NER using token-level and type-level features outperform the baselines. We present the benefits of eye-tracking features by evaluating the NER models on both individual datasets as well as in cross-domain settings.

研究の動機と目的

• 人間の読書行動における注視移動信号が、名前付きエンティティ認識（NER）のニューラルモデルを向上させられるかどうかを調査すること。
• NER研究を目的として、名前付きエンティティラベルを付与した3つの眼動態コーパスを手動でアノテートしたデータセットを構築・公開すること。
• 文脈的な語表現（例：BERTまたは類似モデル）とトークンレベルで連結することで、注視埋め込みを統合したニューラルNERアーキテクチャを開発すること。
• 語の品詞レベルで一般化された注視特徴が、推論時に記録済みの眼動態データがなくても性能を維持できるかどうかを検証すること。
• 眼動態データが記録されていない外部ベンチマークデータセットを用いた場合の、注視特徴統合モデルの一般化性能を評価すること。

提案手法

• 著者らは、名前付きエンティティラベルを付与した3つの眼動態コーパス（Dundee, GECO, ZuCo）を収集・手動アノテートし、公開可能なデータセットを構築した。
• 各コーパスのトークンごとに、注視停留時間、注視持続時間、および移動距離（サッカード）などの眼動態特徴を記録済みの注視データから抽出した。
• 注視埋め込みを、文脈的な語表現（例：BERTなど）とトークンレベルで連結することで、ニューラルNERモデルに統合した。
• 著者らは、語の品詞ごとに注視統計を平均化する「タイプ集約型注視特徴」を導入し、個々のトークンの注視データに依存する必要を軽減した。
• アノテート済みコーパス上でクロスエントロピー損失を用いてモデルを微調整し、インドメインおよびアウトオブドメインのテストセットで評価した。
• クロスドメイン評価は、1つ以上の眼動態データセットで学習し、未観測のデータ（例：CoNLL-2003ベンチマーク）でテストすることで、一般化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 人間の読書行動における注視移動信号は、最先端のニューラルNERモデルの性能を向上させられるか？
• RQ2 語の品詞レベルで一般化された注視特徴は、テスト時に個々のトークンの注視データがなくても性能を維持できるか？
• RQ3 特に注視データが記録されていないデータでテストされた場合、注視特徴統合NERモデルはどの程度のクロスドメイン性能を示すか？
• RQ4 どの名前付きエンティティタイプが注視特徴統合により最も恩恵を受けるか、その理由は何か？
• RQ5 注視特徴の統合は、再現率（recall）を精度（precision）よりも顕著に向上させるか？これは、捕捉された言語的信号の性質について何を示唆するか？

主な発見

• 注視特徴統合NERモデルは、3つの個々の眼動態コーパスすべてでベースラインを上回り、F1スコアで統計的に有意な向上を示した。
• 注視データが記録されていないCoNLL-2003ベンチマークコーパスにおいて、タイプ集約型注視特徴を用いたモデルは、F1スコアが3%絶対値で向上（63.92 → 66.61）した。
• タイプ集約型注視特徴を用いたモデルは、認識が特に困難な「ORGANIZATION」クラスで最も顕著な向上を示した。
• 注視特徴統合モデルの再現率は、ベースラインと比較して顕著に向上しており、これは注視特徴が、希少または曖昧なエンティティをより多く正例として検出するのを助けることを示している。
• CoNLL-2003テストセットにおいて20%以上のトークンが注視特徴値を欠損していても、モデルは高い性能を維持しており、欠損注視データに対しても頑健であることが示された。
• タイプ集約型注視特徴は、特に未観測ドメインへの一般化において顕著に優れた性能を示し、個々のトークンの注視データに依存するモデルを上回った。