[论文解读] Commonsense Reasoning for Conversational AI: A Survey of the State of the Art

Christopher Richardson, Larry Heck|arXiv (Cornell University)|Feb 15, 2023

Topic Modeling被引用 10

一句话总结

这篇论文综述了将常识推理整合到对话式AI的最近工作，详细介绍数据集、方法、基准，以及对BlenderBot3和LaMDA的初步发现。它强调存在的差距并推动开放式对话中常识理解的进一步研究。

ABSTRACT

Large, transformer-based pretrained language models like BERT, GPT, and T5 have demonstrated a deep understanding of contextual semantics and language syntax. Their success has enabled significant advances in conversational AI, including the development of open-dialogue systems capable of coherent, salient conversations which can answer questions, chat casually, and complete tasks. However, state-of-the-art models still struggle with tasks that involve higher levels of reasoning - including commonsense reasoning that humans find trivial. This paper presents a survey of recent conversational AI research focused on commonsense reasoning. The paper lists relevant training datasets and describes the primary approaches to include commonsense in conversational AI. The paper also discusses benchmarks used for evaluating commonsense in conversational AI problems. Finally, the paper presents preliminary observations of the limited commonsense capabilities of two state-of-the-art open dialogue models, BlenderBot3 and LaMDA, and its negative effect on natural interactions. These observations further motivate research on commonsense reasoning in conversational AI.

研究动机与目标

• 激励并界定对话式AI中常识推理的问题及其对对话任务的影响。
• 将常见的对话式AI问题（序列分类、问答、对话建模和对话摘要）分类，并讨论它们与常识的相关性。
• 回顾用于评估对话系统常识的训练数据集和基准。
• 综述将常识整合的方法学方法（模型微调、知识图谱对齐、自然语言解释）。
• 强调当前系统的局限性并概述未来研究方向。

提出的方法

• 将方法分为三大类：模型微调、知识图谱对齐、自然语言解释。
• 概述并比较用于常识支持对话任务的数据集（例如 DailyDialogue、MuTual、DREAM、Ubuntu Dialogue Corpus）。
• 讨论知识图谱，如 ConceptNet 和 ATOMIC，以及在这些来源中对话的对接/对齐方法。
• 描述神经常识模型，如 COMET 及其衍生物，用于生成推理。
• 回顾用于评估对话中常识的基准和指标，包括基于问答的评估和非问答评估方法。
• 提供对 BlenderBot3 和 LaMDA 的初步观察，以说明当前在常识推理方面的局限性。

实验结果

研究问题

• RQ1 有哪些数据集和基准存在于评估对话式AI任务中的常识？
• RQ2 三大类方法学家族（微调、KG对齐、自然语言解释）在不同对话AI问题上的表现如何？
• RQ3 在当前最前沿模型（如 BlenderBot3、LaMDA）关于常识推理方面观察到的差距是什么？
• RQ4 哪些是有效的外部常识知识来源，如何将其整合到开放式对话系统中？

主要发现

• 开放式对话模型中的常识推理仍然有限，影响自然互动。
• 外部知识来源（ConceptNet、ATOMIC）与神经常识模型（如 COMET）被用来增强推理，但也有局限性。
• 出现三种突出的方法：通过专用数据集的模型微调、知识图谱对齐、自然语言解释；每种方法都有优点和权衡。
• 基准主要集中在问答，越来越多倡导超越严格问答任务的更广泛评估指标。
• 对 BlenderBot3 和 LaMDA 的初步实验显示出推理和澄清的时刻，但也存在在荒诞或不一致的话语上的显著失败，强调了进一步整合常识的必要性。