[论文解读] A Simple Machine Learning Method for Commonsense Reasoning? A Short Commentary on Trinh & Le (2018).

Walid S. Saba|arXiv (Cornell University)|Oct 1, 2018

Natural Language Processing Techniques参考文献 3被引用 6

一句话总结

本文评论批判了Trinh & Le (2018)提出的数据驱动方法在常识推理中的应用，该方法通过句子补全的概率排序来解析代词。文章认为该方法因无法处理功能词的敏感性、词汇变异引发的组合爆炸，以及最关键的是无法建模隐含的背景知识而失败，因而从根本上不适用于真正的语言理解。

ABSTRACT

This is a short Commentary on Trinh & Le (2018) ("A Simple Method for Commonsense Reasoning") that outlines three serious flaws in the cited paper and discusses why data-driven approaches cannot be considered as serious models for the commonsense reasoning needed in natural language understanding in general, and in reference resolution, in particular.

研究动机与目标

• 挑战Trinh & Le方法能够为自然语言理解中的常识推理提供可行且简洁解决方案的主张。
• 证明数据驱动方法无法建模参考消解所必需的隐含背景知识。
• 论证依赖大规模语料库中的统计相关性在指代对象未在训练数据中明确提及时会失效。
• 表明功能词替换（即使改变语义）在模型中产生难以区分的概率，从而削弱其推理能力。
• 警告不要将数据驱动方法过度扩展至需要真正世界知识的核心自然语言理解任务。

提出的方法

• 提出一种基于概率的方法，将代词'it'替换为候选先行词（如'the trophy'或'the suitcase'），并计算该结果句子在大规模语料库中的可能性。
• 采用两种评分策略：'完整'（整个修改后句子的概率）和'部分'（给定先行词语境下谓词部分，如'is too big'的条件概率）。
• 利用预训练语言模型（LM-1-Billion、CommonCrawl、SQuAD）估算句子变体的概率。
• 倾向于使用'部分'评分策略，因其基于先行词和句子开头，能更好地隔离相关上下文。
• 仅依赖统计共现频率，不使用符号知识或人工设计的特征。
• 将概率最高的句子补全视为正确指代对象，假设更高概率即意味着更好的常识对齐。

实验结果

研究问题

• RQ1 基于语料频率的纯粹数据驱动方法能否可靠地解决Winograd模式句子中的代词指代问题？
• RQ2 该方法是否能处理如'because'与'although'或'is'与'isn't'等功能词引入的语义差异？
• RQ3 统计模型能否捕捉那些未在文本中明确提及但由共享世界知识暗示的指代对象？
• RQ4 该方法能否扩展到给定句子结构的所有词汇和句法变体？
• RQ5 仅基于数据的模型能否泛化到正确指代对象被隐含假设但未出现在训练数据中的情况？

主要发现

• 该方法报告的70%准确率具有误导性，因其未考虑需单独训练样本的指数级句子变体数量。
• 功能词如'because'、'although'、'is'和'isn't'虽改变指代偏好，却产生近乎相同的概率得分，导致模型在常识推理中不可靠。
• 当正确指代对象完全未出现在文本中时（如句子(3)中的'guitar'），模型会失效——该对象虽被隐含理解但未被提及，导致概率无定义。
• 由于缺乏类型级语义结构，该方法无法在语义相似词（如'trophy'与'winner'）之间进行泛化，尽管它们的词嵌入相似。
• 数据驱动模型无法建模'缺失文本'——即语言理解所必需的隐含背景知识——因此从根本上不适用于真正的常识推理。
• 由于其无法超越统计共现进行推理，该方法并非通向人类水平语言理解（尤其在指代消解方面）的可行路径。