[论文解读] Mediators: Conversational Agents Explaining NLP Model Behavior

Nils Feldhus, Ajay Madhavan Ravichandran+1 more|arXiv (Cornell University)|Jun 13, 2022

Topic Modeling被引用 9

一句话总结

本文提出了Mediators——一种通过交互式自然语言对话解释神经网络NLP模型行为的对话代理。该研究为情感分析中的Mediators提出了一套模块化蓝图，识别了训练此类系统的关键挑战，并呼吁开发新的数据集和评估方法，以弥合HCXAI理论与NLP实践之间的差距。

ABSTRACT

The human-centric explainable artificial intelligence (HCXAI) community has raised the need for framing the explanation process as a conversation between human and machine. In this position paper, we establish desiderata for Mediators, text-based conversational agents which are capable of explaining the behavior of neural models interactively using natural language. From the perspective of natural language processing (NLP) research, we engineer a blueprint of such a Mediator for the task of sentiment analysis and assess how far along current research is on the path towards dialogue-based explanations.

研究动机与目标

• 解决NLP模型可解释性领域中缺乏交互式对话式解释的问题。
• 通过将解释视为对话，弥合以人类为中心的可解释AI（HCXAI）与NLP研究之间的差距。
• 通过对话实现迭代式、用户驱动的澄清，减轻用户的认知负荷。
• 提供一个模块化、可扩展的框架，用于构建支持解释生成、理解与对话状态追踪的Mediators。
• 强调需要开发针对NLP中解释对话的新数据集和评估协议。

提出的方法

• 设计一种模块化的Mediator架构，包含独立的组件：解释生成、自然语言响应、用户输入理解与对话状态追踪。
• 以情感分析作为具体用例，应用Mediator框架，展示各模块在实际中的运作方式。
• 通过结合模型内部解释与自然语言叙述，整合互补的可解释性方法，实现忠实性与可信度之间的平衡。
• 提出一种基于对话的解释流程，用户可提出后续问题，Mediator根据用户反馈迭代优化解释。
• 建议利用人与人之间的解释对话以及信息寻求型问答数据集作为基线，制定Mediator的训练数据收集策略。
• 倡导采用“巫师之 Oz”研究范式及用户反馈机制（如李克特量表评分），在开发过程中评估并改进Mediator的行为。

实验结果

研究问题

• RQ1 如何设计对话代理，以实现对NLP模型行为的交互式、自然语言式解释？
• RQ2 支持对话式解释的Mediator所需的核心组件与模块化架构是什么？
• RQ3 Mediators如何在忠实于模型内部机制与解释的可信度及用户理解之间取得平衡？
• RQ4 开发有效的NLP用Mediators需要什么样的训练数据与评估协议？
• RQ5 Mediators如何通过迭代对话适应用户心智模型并减轻认知负荷？

主要发现

• 尽管HCXAI理论基础坚实，当前NLP研究尚未解决对话式解释的需求。
• 自然语言解释比数值或注意力机制解释更具可信度与可访问性，但可能引发不合理的信任。
• 使用自由文本模型难以实现忠实的解释，凸显了需要互补解释方法的必要性。
• 现有解释对话数据集稀缺，信息寻求型问答或人与人对话数据集仅部分适用于Mediator的训练。
• Mediator框架需要严格且持续的评估与用户反馈机制，以确保与用户期望和心智模型保持一致。
• Mediator的数据收集工作量大，特别是生成带用户反馈的原子级解释时，可能需要定制化的标注方案。