[论文解读] Multi-Cast Attention Networks for Retrieval-based Question Answering and Response Prediction

Yi Tay, Luu Anh Tuan+1 more|arXiv (Cornell University)|Jun 3, 2018

Topic Modeling参考文献 52被引用 22

一句话总结

本文提出多播注意力网络（MCAN），一种新颖的神经架构，将注意力机制重新定位为特征增强技术，而非池化机制。该方法通过将来自注意力矩阵的标量特征投射到后续编码器层中，实现对特征的增强。MCAN在四个基准数据集上取得最先进性能，包括在Ubuntu对话语料库上实现9%的性能提升，并在TrecQA上取得迄今最佳结果，其关键在于支持多种注意力变体（如共注意力、内部注意力）和池化类型（如最大池化、平均池化、对齐池化）的同时应用，且不增加表示维度。

ABSTRACT

Attention is typically used to select informative sub-phrases that are used for prediction. This paper investigates the novel use of attention as a form of feature augmentation, i.e, casted attention. We propose Multi-Cast Attention Networks (MCAN), a new attention mechanism and general model architecture for a potpourri of ranking tasks in the conversational modeling and question answering domains. Our approach performs a series of soft attention operations, each time casting a scalar feature upon the inner word embeddings. The key idea is to provide a real-valued hint (feature) to a subsequent encoder layer and is targeted at improving the representation learning process. There are several advantages to this design, e.g., it allows an arbitrary number of attention mechanisms to be casted, allowing for multiple attention types (e.g., co-attention, intra-attention) and attention variants (e.g., alignment-pooling, max-pooling, mean-pooling) to be executed simultaneously. This not only eliminates the costly need to tune the nature of the co-attention layer, but also provides greater extents of explainability to practitioners. Via extensive experiments on four well-known benchmark datasets, we show that MCAN achieves state-of-the-art performance. On the Ubuntu Dialogue Corpus, MCAN outperforms existing state-of-the-art models by $9\%$. MCAN also achieves the best performing score to date on the well-studied TrecQA dataset.

研究动机与目标

• 解决传统注意力机制仅用于神经排序模型中特征池化或表征压缩所带来的局限性。
• 通过允许任意、同时应用多种注意力变体和池化类型，而无需增加表征维度，消除对架构工程的依赖。
• 通过投射的注意力特征提供实数值提示，提升检索式问答与响应预测任务中模型的可解释性与性能。
• 开发一种统一、通用的神经排序框架，适用于多样化的对话建模与问答任务。

提出的方法

• MCAN引入一种多播注意力机制，执行多个软注意力操作，每个操作将从注意力矩阵中提取的标量特征投射到下一层编码器。
• 每种注意力操作基于不同的注意力类型（如共注意力、内部注意力）和池化变体（如最大池化、平均池化、对齐池化），从而对输入序列对提供多样化的视角。
• 通过全局池化或注意力加权聚合等技术，将注意力矩阵压缩为标量特征，随后作为提示注入到后续层中。
• 该架构支持任意数量的注意力投射，实现多种注意力机制的灵活高效集成，而无需拼接表征或增加维度。
• 模型使用标准编码器（如BiLSTM或Transformer）处理输入，注意力特征在多个层中被注入，以引导表征学习。
• 最终表征用于排序或分类任务，通过学习的打分函数对文档-查询对或响应对进行打分。

实验结果

研究问题

• RQ1 注意力能否被有效重用于特征增强而非池化机制，以提升神经排序模型中的表征学习？
• RQ2 是否允许多种注意力变体（如共注意力、内部注意力）和池化类型（如最大池化、平均池化、对齐池化）同时应用，可在不增加模型复杂度的前提下提升性能？
• RQ3 所提出的多播注意力机制是否能在多样化的检索式任务（如问答与对话响应选择）中实现最先进性能？
• RQ4 投射的注意力特征如何提升序列匹配任务中模型的可解释性与可解释性？

主要发现

• MCAN在Ubuntu对话语料库上相对于最佳现有模型实现9%的相对性能提升，创下新的最先进结果。
• MCAN在广泛研究的TrecQA数据集上取得迄今最佳报告结果，超越所有先前方法。
• 该模型在社区问答（CQA）和Tweet回复预测基准上表现强劲，展现出在对话建模任务中的广泛适用性。
• 投射注意力特征的可视化表明，其具有可解释性，并与语义上有意义的子短语相对应，增强了模型的可解释性。
• 多播机制实现了多种注意力类型与池化策略的同时使用，且不增加表征大小，显著降低了架构工程成本。