[论文解读] Advancing NLP with Cognitive Language Processing Signals

Nora Hollenstein, Maria Barrett+4 more|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 49被引用 34

一句话总结

本论文研究凝视（眼动追踪）和 EEG 信号是否能在多任务和多数据源上持续提升 NLP 任务，并且将信号联合是否带来额外好处。

ABSTRACT

When we read, our brain processes language and generates cognitive processing data such as gaze patterns and brain activity. These signals can be recorded while reading. Cognitive language processing data such as eye-tracking features have shown improvements on single NLP tasks. We analyze whether using such human features can show consistent improvement across tasks and data sources. We present an extensive investigation of the benefits and limitations of using cognitive processing data for NLP. Specifically, we use gaze and EEG features to augment models of named entity recognition, relation classification, and sentiment analysis. These methods significantly outperform the baselines and show the potential and current limitations of employing human language processing data for NLP.

研究动机与目标

• 动机：使用认知加工信号（凝视和 EEG）来改进 NLP，超越单任务、单信号设置。
• 在多个 NLP 任务（NER、关系分类、情感分析）和数据源上评估改进。
• 研究将信号整合到模型的方法，包括测试时数据无关的方法和多任务学习。
• 评估认知信号在 NLP 中的实际性、泛化能力以及潜在局限性。

提出的方法

• 使用 ZuCo 语料库，具备英文句子阅读时的眼动追踪和 EEG 同时数据。
• 用凝视和 EEG 特征增强 NER、关系分类和情感分析的前沿模型。
• 探讨三种整合方法：在基线上增加特征、通过基于词型聚合的特征实现测试时的免费预测以实现特征泛化、以及在多任务学习中将认知特征作为辅助任务。
• 将凝视/EEG 特征归一化并与词/标记嵌入对齐，然后将它们与嵌入拼接用于下游模型。
• 进行广泛的交叉验证和显著性检验（置换检验并进行 Bonferroni 校正），以评估改进。

实验结果

研究问题

• RQ1 凝视和 EEG 信号是否在 NER、关系分类和情感分析等任务上提供持续的改进？
• RQ2 将凝视和 EEG 信号结合是否比单一信号使用更有利？
• RQ3 认知信号是否可以推广为测试时不需要数据收集（类型聚合特征）？
• RQ4 当用作多任务学习中的辅助任务时，认知信号对 NLP 的影响如何？

主要发现

基线 P	基线 R	基线 F1	凝视 P	凝视 R	凝视 F1	EEG P	EEG R	EEG F1	凝视+EEG P	凝视+EEG R	凝视+EEG F1
84.5	81.7	82.9	62.6	56.6	57.7	82.5	82.5	82.5	57.1	57.6	57.2
86.2	84.3	85.1	65.1	61.9	62.0	84.7	84.6	84.6	61.4	61.7	61.5
86.7	81.5	83.9	68.3	64.8	65.1	83.6	83.6	83.6	60.5	60.2	60.3
85.1	83.2	84.0	66.3	59.3	60.8	84.3	84.3	84.3	59.8	60.0	59.8

• 认知特征在三个 NLP 任务上相对于基线表现出持续改进。
• 凝视特征和 EEG 特征各自提升了性能，但将它们结合并未超过最佳单信号结果。
• 类型聚合（单词类型层面）特征在不需要实际的测试时认知数据也能提高性能，尽管 EEG 类型聚合在外部语料上的效果呈现混合。
• 基于置换的显著性检验表明在 Bonferroni 校正后的大多数配置中改进具有统计显著性（11/12 配置）。
• 单一被试模型在某些情况下可以胜过平均模型，但平均通常仍具备竞争力和鲁棒性。