[论文解读] Learning Discrete Structured Representations by Adversarially Maximizing Mutual Information

Karl Stratos, Sam Wiseman|arXiv (Cornell University)|Apr 8, 2020

Digital Media Forensic Detection被引用 6

一句话总结

本文提出一种方法，通过对抗性地最大化结构化潜在变量与目标变量之间的互信息，从无标签数据中学习离散结构化表示。该方法引入了一种利用对抗训练和二进制编码上的马尔可夫分布的可 tractable 互信息估计技术，在文档哈希任务中实现了最先进的性能，生成高度压缩且可解释的表示。

ABSTRACT

We propose learning discrete structured representations from unlabeled data by maximizing the mutual information between a structured latent variable and a target variable. Calculating mutual information is intractable in this setting. Our key technical contribution is an adversarial objective that can be used to tractably estimate mutual information assuming only the feasibility of cross entropy calculation. We develop a concrete realization of this general formulation with Markov distributions over binary encodings. We report critical and unexpected findings on practical aspects of the objective such as the choice of variational priors. We apply our model on document hashing and show that it outperforms current best baselines based on discrete and vector quantized variational autoencoders. It also yields highly compressed interpretable representations.

研究动机与目标

• 从无标签数据中学习有意义的离散结构化表示，而无需显式监督。
• 解决结构化潜在变量模型中互信息计算的不可行性问题。
• 开发一种可 tractable 的对抗性目标，仅通过交叉熵计算来估计互信息。
• 通过使用离散且可解释的编码，提升表示学习任务（如文档哈希）的性能。
• 探索对模型性能有显著影响的实际设计选择，例如变分先验。

提出的方法

• 该方法使用对抗性目标来近似结构化潜在变量与目标变量之间的互信息。
• 假设可计算交叉熵，以实现互信息的可 tractable 估计。
• 一种具体实现方式是使用二进制编码上的马尔可夫分布来建模结构化潜在空间。
• 模型采用生成器生成离散编码，判别器用于区分真实样本与生成样本。
• 通过对抗学习优化训练目标，判别器提供信号以提升表示质量。
• 该方法支持端到端训练，生成高度压缩且可解释的离散表示。

实验结果

研究问题

• RQ1 当精确计算不可行时，如何在结构化离散潜在空间中有效最大化互信息？
• RQ2 不同变分先验对学习到的离散表示质量有何影响？
• RQ3 对抗性训练能否为表示学习中的标准互信息估计提供一种可 tractable 且有效的替代方案？
• RQ4 在下游任务中的压缩性和性能方面，学习到的离散表示与现有基线相比如何？
• RQ5 实际设计选择（如网络架构和先验选择）如何关键地影响模型性能？

主要发现

• 所提方法在文档哈希任务中优于基于离散和向量量化变分自编码器的当前最先进基线。
• 该模型生成高度压缩且可解释的表示，支持高效存储与检索。
• 关于变分先验选择的关键且出人意料的发现显著影响模型性能。
• 尽管精确计算不可行，对抗性目标仍能有效实现互信息最大化。
• 该方法在极少架构假设下实现强大性能，仅依赖于交叉熵的可行性。
• 学习到的表示既紧凑又具有语义意义，在真实世界检索任务中展现出实用性。