[论文解读] Keystroke dynamics as signal for shallow syntactic parsing

Barbara Plank|University of Groningen research database (University of Groningen / Centre for Information Technology)|Oct 11, 2016

Text Readability and Simplification参考文献 36被引用 9

一句话总结

本文提出使用击键动力学——具体而言，即词前停顿持续时间——作为辅助信号，通过多任务双向长短期记忆网络模型提升浅层句法分析性能。通过将停顿模式视为自动标注的句法线索，该模型在分块和CCG超词性标注任务上均取得显著提升，尤其在分布外数据上表现突出，证明了非语言认知信号可在无需联合标注的情况下增强自然语言处理能力。

ABSTRACT

Keystroke dynamics have been extensively used in psycholinguistic and writing research to gain insights into cognitive processing. But do keystroke logs contain actual signal that can be used to learn better natural language processing models? We postulate that keystroke dynamics contain information about syntactic structure that can inform shallow syntactic parsing. To test this hypothesis, we explore labels derived from keystroke logs as auxiliary task in a multi-task bidirectional Long Short-Term Memory (bi-LSTM). Our results show promising results on two shallow syntactic parsing tasks, chunking and CCG supertagging. Our model is simple, has the advantage that data can come from distinct sources, and produces models that are significantly better than models trained on the text annotations alone.

研究动机与目标

• 探究击键日志数据——常用于心理语言学研究——是否蕴含可用于自然语言处理的潜在句法信号。
• 开发一种方法，利用击键动力学作为序列建模中的辅助任务，而无需同时标注文本与击键数据。
• 评估此类辅助信号是否能提升浅层句法分析任务（如分块与CCG超词性标注）的性能。
• 探索利用低成本、非侵入性认知辅助信号增强自然语言处理模型的可行性，尤其在低资源或分布外设置下。

提出的方法

• 对击键日志进行处理，提取词前停顿持续时间，并基于每位用户的中位数和四分位距对结果进行归一化，以适应个体打字差异。
• 利用每位用户的统计信息，将停顿持续时间离散化为自动生成的标签，从而构建句法结构的序列标注任务。
• 采用多任务双向长短期记忆（bi-LSTM）网络，联合学习浅层句法分析（分块与CCG超词性标注）和基于击键的停顿标签任务。
• 模型通过共享句法与辅助任务之间的网络层，实现端到端训练，实现从击键模式到句法预测的知识迁移。
• 该方法允许在一种来源的文本与另一种来源的击键数据上进行训练，避免了对对齐的文本-击键语料库的依赖。
• 在两个数据集上评估模型：一个用于分块任务，一个用于CCG超词性标注任务，并与仅使用文本的基线模型进行性能对比。

实验结果

研究问题

• RQ1 击键动力学，特别是词前停顿持续时间，能否作为自然语言处理中句法结构的可靠代理信号？
• RQ2 将基于击键的辅助信号引入是否能提升分块与CCG超词性标注等浅层句法分析任务的性能？
• RQ3 击键数据在多大程度上能提升模型在分布外或低资源数据设置下的表现？
• RQ4 模型在不同句法成分（如名词短语、动词短语和介词短语）上的表现有何差异？

主要发现

• 多任务双向长短期记忆模型在分块与CCG超词性标注任务上显著优于仅使用文本的基线模型，证明了击键数据作为辅助信号的有效性。
• 在名词短语（NP）以及社交媒体文本中常见的碎片化或非标准形式（如'bitcy'代表'bitchy'）上，性能提升最为显著。
• 在分布外数据上表现出明显增益，表明击键信号有助于模型在不同写作风格与领域间实现更好的泛化能力。
• 介词（PPs）前的停顿带来的改进较弱，原因在于停顿时间较短且与分块边界存在错位，暗示其在捕捉形态句法特征方面存在局限。
• 模型在词性标注（POS）任务上表现较差，表明击键数据更擅长捕捉结构化句法信息，而非词性类别。
• 即使击键数据量极少，该方法依然稳健，表明少量打字行为数据即可显著提升句法分析性能。