[论文解读] COKE: A Cognitive Knowledge Graph for Machine Theory of Mind

Jincenzi Wu, Zhuang Chen+4 more|arXiv (Cornell University)|May 9, 2023

Topic Modeling被引用 5

一句话总结

本文提出了 ℂ𝕆𝕂𝔼，这是首个将人类心智理论（ToM）形式化为45,000多条经人工验证的认知链的认知知识图谱，这些认知链连接了社会情境与心理、情感及行为反应。通过在 ℂ𝕆𝕂𝔼 上微调预训练语言模型，作者构建了 ℂ𝕆𝕂𝔼⁺，一种认知生成模型，在自动评估与人类评估中均优于强基线模型，展现出在未见社会情境下更优的心智理论推理能力。

ABSTRACT

Theory of mind (ToM) refers to humans' ability to understand and infer the desires, beliefs, and intentions of others. The acquisition of ToM plays a key role in humans' social cognition and interpersonal relations. Though indispensable for social intelligence, ToM is still lacking for modern AI and NLP systems since they cannot access the human mental state and cognitive process beneath the training corpus. To empower AI systems with the ToM ability and narrow the gap between them and humans, in this paper, we propose COKE: the first cognitive knowledge graph for machine theory of mind. Specifically, COKE formalizes ToM as a collection of 45k+ manually verified cognitive chains that characterize human mental activities and subsequent behavioral/affective responses when facing specific social circumstances. In addition, we further generalize COKE using LLMs and build a powerful generation model COLM tailored for cognitive reasoning. Experimental results in both automatic and human evaluation demonstrate the high quality of COKE, the superior ToM ability of COLM, and its potential to significantly enhance social applications.

研究动机与目标

• 将人类心智理论（ToM）形式化为可学习、结构化的知识库，供人工智能系统使用。
• 解决现代自然语言处理与人工智能中缺乏心理状态理解的问题，这些问题通常依赖于表面文本模式。
• 构建一个认知知识图谱（ℂ𝕆𝕂𝔼），以捕捉人类在社会情境中的心理活动以及情感与行为反应。
• 开发一种认知生成模型 ℂ𝕆𝕂𝔼⁺，能够推断未见社会情境下的认知链。
• 通过自动评估与人类评估验证 ℂ𝕆𝕂𝔼 的质量以及 ℂ𝕆𝕂𝔼⁺ 的有效性。

提出的方法

• 通过提示 InstructGPT 生成认知链，并由受过心理学训练的标注员人工验证，从而构建 ℂ𝕆𝕂𝔼。
• 定义五类节点：情境（社会背景）、线索（触发因素）、想法（心理活动）、情绪（情感反应）和行为（行为反应）。
• 将每条认知链标记为正面或负面，以捕捉积极或消极的推理倾向。
• 在 ℂ𝕆𝕂𝔼 数据集上微调 T5-base 模型，训练 ℂ𝕆𝕂𝔼⁺，一种流水线模型，可为分布外情境生成完整的认知链。
• 将认知链生成分解为四个独立任务：情境到想法、线索到想法、想法到情绪、想法到行为预测。
• 结合自动指标与人类评估，以衡量生成认知链的质量与连贯性。

实验结果

研究问题

• RQ1 能否系统性地构建一个认知知识图谱，以结构化链的形式表示人类心智理论中的心理与行为反应？
• RQ2 在该知识图谱上微调的预训练语言模型，能否在未见社会情境中实现良好泛化？
• RQ3 与基线模型相比，整合人工验证的认知链是否能提升人工智能生成心理状态推断的质量与连贯性？
• RQ4 认知链的极性标注（正面/负面）在多大程度上增强了模型反映多样化人类推理模式的能力？
• RQ5 认知生成模型 ℂ𝕆𝕂𝔼⁺ 是否能生成符合人类判断、合乎情境且具说服力的认知链？

主要发现

• ℂ𝕆𝕂𝔼 包含 62,328 个节点和 45,369 条经人工验证的认知链，覆盖五个社会主题，其高质量通过专家标注得到保障。
• ℂ𝕆𝕂𝔼⁺ 在所有四项认知生成任务中，均优于 T5 和 InstructGPT 等强基线模型，无论在自动评估还是人类评估中表现更优。
• 人类评估证实，ℂ𝕆𝕂𝔼⁺ 生成的认知链比基线模型更具说服力、连贯性与情境相关性。
• 该模型在未见社会情境中展现出强大的零样本泛化能力，表明其已有效内化心智理论推理。
• 引入极性（正面/负面）标注显著提升了模型在社会推理中反映多样化人类认知倾向的能力。
• 本研究识别出数据覆盖范围与模型可扩展性的局限，建议未来工作应拓展主题多样性，并探索更大规模的主干模型。