[论文解读] Hierarchical Memory Networks for Answer Selection on Unknown Words

Jiaming Xu, Jing Shi+4 more|arXiv (Cornell University)|Sep 28, 2016

Topic Modeling参考文献 18被引用 9

一句话总结

该论文提出层次记忆网络（HMN），一种新颖的架构，通过联合建模句子级和词级记忆，实现问答任务中的答案选择。通过k-max池化选择最相关的k个句子，再在词级记忆上应用注意力机制，HMN能有效捕捉细粒度语义细节，尤其在罕见或未知词汇上表现优异，在包含未见答案的合成对话数据集上超越标准记忆网络。

ABSTRACT

Recently, end-to-end memory networks have shown promising results on Question Answering task, which encode the past facts into an explicit memory and perform reasoning ability by making multiple computational steps on the memory. However, memory networks conduct the reasoning on sentence-level memory to output coarse semantic vectors and do not further take any attention mechanism to focus on words, which may lead to the model lose some detail information, especially when the answers are rare or unknown words. In this paper, we propose a novel Hierarchical Memory Networks, dubbed HMN. First, we encode the past facts into sentence-level memory and word-level memory respectively. Then, (k)-max pooling is exploited following reasoning module on the sentence-level memory to sample the (k) most relevant sentences to a question and feed these sentences into attention mechanism on the word-level memory to focus the words in the selected sentences. Finally, the prediction is jointly learned over the outputs of the sentence-level reasoning module and the word-level attention mechanism. The experimental results demonstrate that our approach successfully conducts answer selection on unknown words and achieves a better performance than memory networks.

研究动机与目标

• 为解决问答任务中罕见或未知词汇的答案选择挑战，标准模型往往丢弃或屏蔽这些词汇。
• 通过引入句子级和词级记忆表征，提升对长上下文事实的推理能力。
• 联合学习句子级推理与词级注意力，增强模型对未见或罕见实体的鲁棒性。
• 通过使用k-max池化限制注意力范围至最相关句子，降低计算成本，同时保持高性能。
• 证明分层记忆结合上下文感知的词编码（如BiGRU）可提升未知词检测在QA任务中的性能。

提出的方法

• 模型使用时间编码将输入句子编码为句子级记忆，支持多跳推理以检索相关事实。
• 对句子级记忆输出应用k-max池化，选择与问题最相关的k个句子。
• 使用BiGRU或GRU构建词级记忆，编码个体词的上下文信息，提升表征质量。
• 在选定的k个句子的词级记忆上应用注意力机制，聚焦于语义相关词汇。
• 通过联合学习句子级推理模块输出与词级注意力机制输出，做出最终预测。
• 词级注意力的探测向量由句子级推理模块生成，确保与目标答案的语义对齐。

实验结果

研究问题

• RQ1 分层记忆架构能否提升问答任务中罕见或未知词汇的答案选择性能？
• RQ2 结合句子级推理与词级注意力是否优于标准记忆网络？
• RQ3 词级编码方式的选择（如BiGRU vs. GRU vs. 嵌入）对未知词性能有何影响？
• RQ4 k-max池化中k的最优值是多少，以在性能与计算成本间取得平衡？
• RQ5 注意力机制能否有效过滤噪声词（如'the'、'on'），同时聚焦于未见答案中的关键命名实体？

主要发现

• 与标准记忆网络相比，HMN在答案选择上表现更优，尤其在包含大量未见或罕见词汇的合成数据集上。
• 使用BiGRU进行词级记忆编码显著优于简单嵌入或GRU，尤其在k值增大时表现更优。
• HMN-Joint模型结合BiGRU在不同k值下性能保持稳定，表明其具备鲁棒性与可扩展性。
• k=4在性能与计算成本之间提供了良好平衡，k值更高时性能增益不明显。
• 注意力机制能有效过滤'time'、'go'等无关词，聚焦于'Wainwright'或'899917359'等关键命名实体。
• 由句子级推理生成的探测向量通过语义对齐，增强了词级注意力的效果。