[论文解读] Asking the Right Question: Inferring Advice-Seeking Intentions from Personal Narratives

Liye Fu, Jonathan P. Chang+1 more|arXiv (Cornell University)|Apr 2, 2019

Topic Modeling参考文献 42被引用 6

一句话总结

本文提出了一项新颖的NLP任务——通过将任务形式化为填空测试，从两个候选问题中选择出说者真正意图的建议寻求问题，从而从个人叙事中推断建议寻求意图。作者构建了包含两万余个叙事及其语义上合理的成对问题的ASQ数据集，表明该任务不仅需要表面语义理解，更依赖常识和社交直觉，同时建立了基线模型以衡量在叙事中理解外部意图方面的进展。

ABSTRACT

People often share personal narratives in order to seek advice from others. To properly infer the narrator's intention, one needs to apply a certain degree of common sense and social intuition. To test the capabilities of NLP systems to recover such intuition, we introduce the new task of inferring what is the advice-seeking goal behind a personal narrative. We formulate this as a cloze test, where the goal is to identify which of two advice-seeking questions was removed from a given narrative. The main challenge in constructing this task is finding pairs of semantically plausible advice-seeking questions for given narratives. To address this challenge, we devise a method that exploits commonalities in experiences people share online to automatically extract pairs of questions that are appropriate candidates for the cloze task. This results in a dataset of over 20,000 personal narratives, each matched with a pair of related advice-seeking questions: one actually intended by the narrator, and the other one not. The dataset covers a very broad array of human experiences, from dating, to career options, to stolen iPads. We use human annotation to determine the degree to which the task relies on common sense and social intuition in addition to a semantic understanding of the narrative. By introducing several baselines for this new task we demonstrate its feasibility and identify avenues for better modeling the intention of the narrator.

研究动机与目标

• 为解决NLP系统在推断个人叙事中外部（非叙事内）意图方面的能力缺口，这些叙事是为寻求建议而分享的。
• 开发一种自动方法，为叙事生成语义上合理的建议寻求问题成对，其中一个是真实意图的，另一个则不是。
• 构建一个大规模、多样化的个人叙事数据集，包含两万余个叙事及其配对的建议寻求问题，用于评估意图推断。
• 证明该任务严重依赖常识与社交直觉，而不仅仅是对叙事的语义理解。
• 建立基线模型，并识别在人机交互中建模叙事意图的关键挑战与未来方向。

提出的方法

• 将任务形式化为二选一的填空测试：给定一个个人叙事和两个建议寻求问题，选择出说者实际意图的那个。
• 从公开论坛中获取在线个人叙事，提取具有隐含建议寻求意图的叙事。
• 开发一种方法，通过挖掘叙事之间共享的经验模式，自动识别语义上合理的建议寻求问题成对。
• 利用人类经验的共性（例如，睡眠不足、职业压力）生成语义上合理但意图不同的候选问题对。
• 通过人工标注验证问题对的合理性，并评估该任务对常识与社交直觉的依赖程度。
• 在构建的ASQ数据集上训练和评估基线模型，以建立性能基准。

实验结果

研究问题

• RQ1 在个人叙事中推断建议寻求意图在多大程度上需要超越语义理解的常识与社交直觉？
• RQ2 是否可以采用系统性方法为给定叙事生成语义上合理且具有差异性的建议寻求问题对？
• RQ3 现有NLP模型在区分真实意图的建议寻求问题与合理替代问题方面的表现如何？
• RQ4 哪些叙事特征或结构要素最能预测说者的真实建议寻求意图？
• RQ5 如何改进叙事理解模型，以更好地推断个人叙事背后的外部意图？

主要发现

• ASQ数据集包含超过20,000个个人叙事，每个叙事均配有一对语义上合理的建议寻求问题——一个为真实意图，一个不是，从而支持意图推断的评估。
• 人类在该任务上的表现较高（准确率为92.4%），表明任务定义明确且有意义，但仍需社交直觉与常识。
• 基线模型（包括基于BERT的分类器）表现中等（准确率约为70%），表明该任务具有挑战性，需要更深层次的推理。
• 与标准语义理解任务相比，该任务更具挑战性，因为它需要推理说者的外部交际意图，而非内部叙事事件。
• 标注者将6%的问题评为过于宽泛，表明未来工作需改进问题表示与过滤机制。
• 结果表明，整合叙事结构、话语行为与情感流动可能通过帮助区分关键与偶然的叙事细节，从而提升模型性能。