[论文解读] Improving Natural Language Processing Tasks with Human Gaze-Guided Neural Attention

Ekta Sood, Simon Tannert+2 more|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 85被引用 32

一句话总结

本文提出了一种混合文本显著性模型（TSM），将认知阅读模型与真实凝视监督相结合，并采用联合训练方法将凝视信息引入NLP任务的注意力，从而在改写生成方面取得显著提升，在句子压缩方面也有竞争力的结果。

ABSTRACT

A lack of corpora has so far limited advances in integrating human gaze data as a supervisory signal in neural attention mechanisms for natural language processing(NLP). We propose a novel hybrid text saliency model(TSM) that, for the first time, combines a cognitive model of reading with explicit human gaze supervision in a single machine learning framework. On four different corpora we demonstrate that our hybrid TSM duration predictions are highly correlated with human gaze ground truth. We further propose a novel joint modeling approach to integrate TSM predictions into the attention layer of a network designed for a specific upstream NLP task without the need for any task-specific human gaze data. We demonstrate that our joint model outperforms the state of the art in paraphrase generation on the Quora Question Pairs corpus by more than 10% in BLEU-4 and achieves state of the art performance for sentence compression on the challenging Google Sentence Compression corpus. As such, our work introduces a practical approach for bridging between data-driven and cognitive models and demonstrates a new way to integrate human gaze-guided neural attention into NLP tasks.

研究动机与目标

• 由于数据稀缺，推动在NLP中使用人类凝视作为神经注意力监督。
• 提出一个混合文本显著性模型（TSM），利用认知阅读模型在合成数据下产生类似凝视的显著性。
• 开发一个联合建模框架，将TSM预测集成到下游NLP任务的注意力机制中，而无需任务特定的凝视数据。
• 展示使用该联合模型在改写生成和句子压缩方面达到最先进或具有竞争力的提升。

提出的方法

• 混合文本显著性模型（TSM）将BiLSTM嵌入层与Transformer编码器结合起来，预测词级凝视持续时间。
• TSM在由E-Z Reader认知模型生成的合成数据上进行预训练，并在Provo和GECO语料库的真实凝视数据上进行微调。
• 一种联合建模方法修改Luong注意力机制，将注意力分数乘以TSM预测，从而实现端到端训练并结合任务特定损失。
• 所研究的上游任务是改写生成（Quora数据集）和句子压缩（Google Sentence Compression数据集）。
• TSM采用均方误差进行训练以预测凝视持续时间，然后在联合训练中针对特定下游任务进行适应。

实验结果

研究问题

• RQ1 混合认知/数据驱动的文本显著性模型是否能够产生适用于引导NLP中神经注意力的凝视样预测？
• RQ2 将TSM预测整合到任务特定的注意力层是否能够在不需要任务特定凝视数据的前提下提升下游NLP表现？
• RQ3 在认知凝视仿真上进行预训练并在真实凝视数据上微调如何影响对域外数据的泛化？
• RQ4 在联合训练中对TSM进行自适应对改写生成和句子压缩的性能有何影响？

主要发现

• TSM时长预测与人类凝视真值在域外数据上相关。
• 联合模型在改写生成（Quora数据集）方面超过了现有最先进技术，在BLEU-4上提升超过10%（47? 未给出；原文显示通过100K数据的先前工作BLEU-4从17.9提升到28.82）并实现了具有竞争力的句子压缩结果（F1 ~85.0，CR ~0.39）。
• 消融研究表明全模型始终优于No Fixation、Random TSM Init、TSM Weight Swap和Frozen TSM变体，证明了显著性对任务特定的适应。
• 在E-Z Reader合成数据上的预训练加上在真实凝视数据上的微调显著提高了多语料库的显著性预测指标（MSE、JSD、Spearman ρ），尤其是在像Provo这样较小的数据集上。
• 在联合训练期间对TSM的适应产生的注意力分布因任务而异且与人类焦点对齐更好，使得任务特定的显著性成为可能。