[论文解读] Argument Harvesting Using Chatbots
本文提出通过轻量级聊天机器人实现论点收集，以自动从用户处获取现实世界中的论点与反论点，尤其适用于行为改变情境。采用简单、领域无关的聊天机器人，通过对话收集论点，按其潜在价值观进行分类，对语义相似的论点进行聚类，并识别可互换的反论点——结果表明，当将反论点匹配至相似论点时，约80%的合适反论点被用户认为有效。
Much research in computational argumentation assumes that arguments and counterarguments can be obtained in some way. Yet, to improve and apply models of argument, we need methods for acquiring them. Current approaches include argument mining from text, hand coding of arguments by researchers, or generating arguments from knowledge bases. In this paper, we propose a new approach, which we call argument harvesting, that uses a chatbot to enter into a dialogue with a participant to get arguments and counterarguments from him or her. Because it is automated, the chatbot can be used repeatedly in many dialogues, and thereby it can generate a large corpus. We describe the architecture of the chatbot, provide methods for managing a corpus of arguments and counterarguments, and an evaluation of our approach in a case study concerning attitudes of women to participation in sport.
研究动机与目标
- 为计算论辩中缺乏可扩展的真实论点获取方法提供解决方案。
- 探究仅具备极少领域知识的聊天机器人是否能有效引出用户关于行为改变的有意义、蕴含价值观的论点。
- 探究语义和价值观相似的论点是否可被聚类，并可互换作为反论点使用。
- 开发一个用于收集、分类和重用论点与反论点的端到端处理流程，以支持自动对话系统。
提出的方法
- 设计一个基于模式匹配与代词替换的简单通用聊天机器人（受Eliza启发），以与用户就行为改变话题展开对话。
- 开展众包实验，让参与者与聊天机器人互动，表达关于参与体育活动的论点与反论点。
- 使用基于参与者自评价值观训练的监督分类器，对收集到的论点按其潜在价值观进行分类。
- 结合语义相似性（通过嵌入模型）与共享价值观，对论点进行聚类，以归集语义相似的论点。
- 通过检索并重用语义相似论点聚类中的有效反论点，生成候选反论点。
- 通过用户对反论点的批准率（设定50%为可接受阈值）评估反论点的适用性。
实验结果
研究问题
- RQ1仅具备极少领域知识的聊天机器人是否能有效从用户处收集关于行为改变的真实、有意义的论点？
- RQ2表达相似论点的用户是否具有相同的潜在价值观，且这些价值观是否可被可靠预测？
- RQ3当应用于语义相似的论点时，反论点是否有效，且是否可被视为可互换？
- RQ4论点聚类在多大程度上可用于生成并验证有效的反论点？
主要发现
- 该聊天机器人成功从100名参与者在行为改变语境下收集到284个独特论点和156个反论点。
- 语义相似的论点被参与者一致分配为相同或相似的价值观，使得通过分类实现可靠的价值预测成为可能。
- 从语义相似论点聚类中衍生出的反论点，在50%可接受阈值下，获得了约80%的用户批准率。
- 反论点'你可以和朋友一起加入一个运动队'被发现无效（批准率仅17.5%），因其未能解决时间管理或内在益处问题。
- 仅284个论点中的131个成功聚类，主要因预处理错误、复杂同义词、否定句式以及独特或非重复论点所致。
- 结果支持假设：当反论点本身恰当且结构良好时，可互换用于语义相似的论点。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。