[论文解读] Hierarchical Sparse Variational Autoencoder for Text Encoding.

Victor Prokhorov, Yingzhen Li+2 more|arXiv (Cornell University)|Sep 25, 2020

Natural Language Processing Techniques被引用 1

一句话总结

本文提出层次稀疏变分自编码器（HSVAE），一种新颖的无监督文本表征学习框架，通过直接优化证据下界（ELBO）在句嵌入中强制实现稀疏性。该方法可灵活适应语料特性，生成反映底层数据分布的结构化稀疏模式。

ABSTRACT

In this paper we focus on unsupervised representation learning and propose a novel framework, Hierarchical Sparse Variational Autoencoder (HSVAE), that imposes sparsity on sentence representations via direct optimisation of Evidence Lower Bound (ELBO). Our experimental results illustrate that HSVAE is flexible and adapts nicely to the underlying characteristics of the corpus which is reflected by the level of sparsity and its distributional patterns.

研究动机与目标

• 开发一种灵活的无监督文本表征学习框架，对句子级嵌入施加稀疏性约束。
• 通过直接优化证据下界（ELBO）在学习表征中诱导结构化稀疏性。
• 适应多样化文本语料的内在稀疏特性与分布模式。
• 通过稀疏性约束提升学习表征的可解释性与效率。

提出的方法

• 该框架采用分层变分自编码器架构，在多级抽象层次上建模句子表征。
• 通过在潜在变量上施加显式稀疏性诱导正则化项，在训练过程中直接引入稀疏性。
• 模型使用随机梯度变分推断来近似潜在码的后验分布。
• 分层结构支持对局部句子级与全局文档级依赖关系的建模。
• 通过可微分的稀疏性惩罚项，在重建准确率与稀疏性之间实现平衡。

实验结果

研究问题

• RQ1 如何在无监督条件下有效对句子级表征施加稀疏性？
• RQ2 该模型在多大程度上适应不同文本语料的内在稀疏模式？
• RQ3 与后处理稀疏化相比，直接优化ELBO能否生成更具结构化和语义意义的稀疏表征？
• RQ4 分层架构在多大程度上提升了表征质量与稀疏性控制能力？

主要发现

• HSVAE通过直接优化ELBO，成功在学习到的句子表征中实现稀疏性。
• 该模型能够适应语料的内在稀疏特性，生成与数据结构一致的分布模式。
• 分层设计通过建模文本中的多层级依赖关系，提升了表征质量。
• 稀疏性实现过程中未损害重建保真度，表明在稀疏性与信息保留之间实现了有效权衡。