[論文レビュー] Advancing NLP with Cognitive Language Processing Signals

Nora Hollenstein, Maria Barrett+4 more|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 49被引用数 34

ひとこと要約

本論文は gaze (eye-tracking) と EEG 信号が複数のタスクとデータソースに跨って一貫して NLP タスクを改善できるか、そして信号を組み合わせることが追加の利点を生むかを検討している。

ABSTRACT

When we read, our brain processes language and generates cognitive processing data such as gaze patterns and brain activity. These signals can be recorded while reading. Cognitive language processing data such as eye-tracking features have shown improvements on single NLP tasks. We analyze whether using such human features can show consistent improvement across tasks and data sources. We present an extensive investigation of the benefits and limitations of using cognitive processing data for NLP. Specifically, we use gaze and EEG features to augment models of named entity recognition, relation classification, and sentiment analysis. These methods significantly outperform the baselines and show the potential and current limitations of employing human language processing data for NLP.

研究の動機と目的

• コグニティブ処理信号（視線と EEG）の利用を促し、単一タスク・単一信号設定を超えた NLP の改善を目指す。
• 複数の NLP タスク（NER、関係分類、感情分析）とデータソースにおける改善を評価する。
• 信号をモデルに組み込む方法を調査する。テスト時のデータ非依存的アプローチとマルチタスク学習を含む。
• コグニティブ信号の実用性、一般化可能性、および NLP における潜在的制限を評価する。

提案手法

• 英語の文を読む ZuCo コーパスを用いて同時眼球追跡と EEG データを使用する。
• 視線と EEG 特徴でNER、関係分類、感情分析の最新モデルを拡張する。
• 3つの統合アプローチを検討する：ベースラインへ特徴を追加、タイプ集約特徴を用いたテスト時の自由予測へ特徴を一般化、コグニティブ特徴を補助タスクとして用いたマルチタスク学習。
• 視線/EEG特徴を単語/トークン埋め込みと正規化・整列させ、下流モデルの埋め込みへ連結する。
• 改善を評価するために広範なクロスバリデーションと有意性検定を実施（ボンフェローニ補正付きの置換検定）。

実験結果

リサーチクエスチョン

• RQ1 視線と EEG 信号は NER、関係分類、感情分析の各タスクで一貫した改善をもたらすか。
• RQ2 視線信号と EEG 信号を組み合わせることは、いずれか単独の信号を用いるより有益か。
• RQ3 テスト時のデータ収集を不要にするような一般化可能なコグニティブ信号（タイプ集約特徴）は作れるか。
• RQ4 マルチタスク学習における補助タスクとしてコグニティブ信号を使用した場合、NLP の影響は何か。

主な発見

Baseline P	Baseline R	Baseline F1	Gaze P	Gaze R	Gaze F1	EEG P	EEG R	EEG F1	Gaze+EEG P	Gaze+EEG R	Gaze+EEG F1
84.5	81.7	82.9	62.6	56.6	57.7	82.5	82.5	82.5	57.1	57.6	57.2
86.2	84.3	85.1	65.1	61.9	62.0	84.7	84.6	84.6	61.4	61.7	61.5
86.7	81.5	83.9	68.3	64.8	65.1	83.6	83.6	83.6	60.5	60.2	60.3
85.1	83.2	84.0	66.3	59.3	60.8	84.3	84.3	84.3	59.8	60.0	59.8

• コグニティブ特徴は3つの NLP タスクすべてのベースラインに対して一貫した改善をもたらす。
• 視線特徴と EEG 特徴はそれぞれ性能を向上させるが、両者を組み合わせても最良の単一信号には及ばない。
• タイプ集約（語種レベル）の特徴は、テスト時のリアルタイムコグニティブデータを必要とせず性能を向上させる。ただし EEG 型集約は外部コーパスで混合効果を示す。
• 置換検定に基づく有意性検定では、Bonferroni 補正後の大多数の構成で改善が統計的に有意である（11/12 構成） 。
• 単一被験者モデルは一部で平均化モデルを上回ることがあるが、平均化はしばしば競争力のある結果と頑健性をもたらす。