[论文解读] Compositional Attention Networks for Interpretability in Natural Language Question Answering

Selvakumar Murugan, Suriyadeepan Ramamoorthy+2 more|arXiv (Cornell University)|Oct 30, 2018

Explainable Artificial Intelligence (XAI)参考文献 8被引用 5

一句话总结

本文提出了一种改进的MAC网络，用于可解释的自然语言问答，通过组合注意力机制和迭代推理，逐步追踪逻辑路径。该方法在bAbI任务上实现了高数据效率和可解释性，注意力分布揭示了细致的推理路径。

ABSTRACT

MAC Net is a compositional attention network designed for Visual Question Answering. We propose a modified MAC net architecture for Natural Language Question Answering. Question Answering typically requires Language Understanding and multi-step Reasoning. MAC net's unique architecture - the separation between memory and control, facilitates data-driven iterative reasoning. This makes it an ideal candidate for solving tasks that involve logical reasoning. Our experiments with 20 bAbI tasks demonstrate the value of MAC net as a data-efficient and interpretable architecture for Natural Language Question Answering. The transparent nature of MAC net provides a highly granular view of the reasoning steps taken by the network in answering a query.

研究动机与目标

• 通过注意力追踪使推理步骤透明化，提升神经网络问答中的可解释性。
• 将原始用于视觉问答的视觉问答MAC网络架构适配于自然语言推理任务。
• 在bAbI数据集上评估模型的性能与可解释性，强调数据效率与推理透明度。
• 研究架构组件对模型性能与推理保真度的影响。

提出的方法

• 将原始用于视觉问答的MAC网络架构进行改造，用LSTM生成的上下文嵌入替代视觉特征，以处理文本。
• 使用控制单元迭代生成注意力查询，通过依赖先前推理步骤实现多步推理。
• 采用读取单元，将故事表征与查询关键词上的注意力相结合，逐步检索相关证据。
• 引入记忆机制，在步骤间保留并更新推理状态，实现动态、迭代的推理过程。
• 通过在故事和查询上计算注意力分布，可视化并解释每一步推理过程。
• 通过加权注意力将控制词与先前记忆状态结合，实现图式推理，提升推理连贯性。

实验结果

研究问题

• RQ1 原始为视觉问答设计的MAC网络架构，能否在自然语言问答任务中有效适配，并保持类似的可解释性？
• RQ2 模型性能如何随推理步数变化？在bAbI任务中，推理的最优深度是多少？
• RQ3 架构组件（如共享与独立LSTM、记忆访问、图式推理）对模型准确率与可解释性的提升程度如何？
• RQ4 当在减少的数据子集上训练时，模型的泛化能力如何？所提出的架构具有怎样的数据效率？

主要发现

• 在仅使用bAbI数据集10%的训练数据下，模型准确率达到79.4%，展现出强大的数据效率。
• 性能在2步推理时达到峰值，进一步增加步数导致性能下降，表明大多数bAbI任务仅需简短的推理链。
• 若在控制单元中移除对先前记忆的访问，性能急剧下降，凸显记忆保持对推理的重要性。
• 消融实验表明，使用独立LSTM分别编码故事和问题，准确率降低1%，表明共享编码带来的收益微乎其微。
• 模型的注意力分布提供了细致且可解释的推理步骤视图，例如按顺序聚焦于'Jessica是谁？'，然后是'老鼠害怕什么？'。
• 在每一步重新阅读故事提升了信息整合效果，注意力模式显示了在多步推理中结合上下文相关事实的能力。