[论文解读] Bidirectional Context-Aware Hierarchical Attention Network for Document Understanding

Jean-Baptiste Remy, Antoine J.‐P. Tixier+1 more|arXiv (Cornell University)|Aug 16, 2019

Topic Modeling参考文献 26被引用 5

一句话总结

本文提出上下文感知分层注意力网络（CAHAN），通过使句级注意力机制考虑上下文文档信息，增强了分层注意力网络（HAN）。通过引入双向文档编码和上下文感知的句编码，CAHAN提升了文档表征能力，在情感分析与主题分类任务中表现更优，且计算开销极低。

ABSTRACT

The Hierarchical Attention Network (HAN) has made great strides, but it suffers a major limitation: at level 1, each sentence is encoded in complete isolation. In this work, we propose and compare several modifications of HAN in which the sentence encoder is able to make context-aware attentional decisions (CAHAN). Furthermore, we propose a bidirectional document encoder that processes the document forwards and backwards, using the preceding and following sentences as context. Experiments on three large-scale sentiment and topic classification datasets show that the bidirectional version of CAHAN outperforms HAN everywhere, with only a modest increase in computation time. While results are promising, we expect the superiority of CAHAN to be even more evident on tasks requiring a deeper understanding of the input documents, such as abstractive summarization. Code is publicly available.

研究动机与目标

• 解决HAN的局限性，即在孤立状态下编码句子，未利用上下文信息。
• 通过使句编码器基于前后文句子做出注意力决策，改进文档表征。
• 提出一种双向文档编码器，同时从前向和后向处理文档，以捕捉更丰富的上下文依赖关系。
• 在大规模情感分析与主题分类数据集上评估所提模型，以证明其优于HAN的性能。
• 探索CAHAN在需要更深层次文本理解的任务（如抽象摘要生成）中的潜力。

提出的方法

• 提出CAHAN-SUM与CAHAN-RNN两种变体，其中句级注意力基于从文档中提取的上下文向量进行条件化。
• 引入使用两个独立RNN的双向文档编码器——一个从前向处理文档，一个从后向处理，每个RNN均使用另一个RNN的隐藏状态作为上下文。
• 通过平均池化（CAHAN-SUM）或循环上下文建模（CAHAN-RNN）对文档的句表示进行计算，生成上下文向量。
• 通过将上下文感知句编码集成到HAN框架中，修改句编码器，使其同时关注词级特征与文档级上下文。
• 使用随机梯度下降（SGD）进行端到端训练，文档级注意力机制在上下文感知句编码之后应用。
• 为句编码器与文档编码器采用共享架构，两者均基于双向RNN并结合自注意力机制。

实验结果

研究问题

• RQ1 上下文感知句编码是否能提升分层注意力网络中的文档表征？
• RQ2 与单向或标准HAN相比，双向文档编码是否能在分类任务中带来更好的性能？
• RQ3 在短小、简单的文档数据集上，CAHAN相较于长而复杂的文档表现如何？
• RQ4 上下文感知机制在多大程度上减少了冗余性，并提升了文档中多样化主题的覆盖？
• RQ5 在需要更深层次文本理解的任务（如抽象摘要生成）中，CAHAN的优势是否会更加显著？

主要发现

• CAHAN的双向版本在所有三个情感分析与主题分类数据集上均优于原始HAN。
• CAHAN-SUM在性能上优于HAN，尤其在减少对句子间重复特征的注意力方面表现更优。
• 该模型通过避免对重复负面短语的过度关注，提升了对多样化主题（如食物质量、服务、价格）的覆盖能力。
• 在出现重复句子的情况下，CAHAN生成的表示比HAN的冗余输出更具多样性和信息量。
• CAHAN引入的计算开销较小，适合实际部署。
• 作者推测，CAHAN的优势在长文档及需要更深层次理解的任务（如抽象摘要生成）中将更加显著。