[论文解读] Latent Variable Modeling with Diversity-Inducing Mutual Angular Regularization

Pengtao Xie, Yuntian Deng+1 more|arXiv (Cornell University)|Dec 23, 2015

Generative Adversarial Networks and Image Synthesis参考文献 102被引用 6

一句话总结

本文提出了一种新颖的互角正则化器（MAR），通过增加学习组件之间的互角来提升潜在变量模型（LVMs）的多样性，从而改善长尾模式覆盖、减少冗余并增强可解释性。该方法采用非凸MAR优化的平滑下界，并在受限玻尔兹曼机和距离度量学习任务中展示了性能提升。

ABSTRACT

Latent Variable Models (LVMs) are a large family of machine learning models providing a principled and effective way to extract underlying patterns, structure and knowledge from observed data. Due to the dramatic growth of volume and complexity of data, several new challenges have emerged and cannot be effectively addressed by existing LVMs: (1) How to capture long-tail patterns that carry crucial information when the popularity of patterns is distributed in a power-law fashion? (2) How to reduce model complexity and computational cost without compromising the modeling power of LVMs? (3) How to improve the interpretability and reduce the redundancy of discovered patterns? To addresses the three challenges discussed above, we develop a novel regularization technique for LVMs, which controls the geometry of the latent space during learning to enable the learned latent components of LVMs to be diverse in the sense that they are favored to be mutually different from each other, to accomplish long-tail coverage, low redundancy, and better interpretability. We propose a mutual angular regularizer (MAR) to encourage the components in LVMs to have larger mutual angles. The MAR is non-convex and non-smooth, entailing great challenges for optimization. To cope with this issue, we derive a smooth lower bound of the MAR and optimize the lower bound instead. We show that the monotonicity of the lower bound is closely aligned with the MAR to qualify the lower bound as a desirable surrogate of the MAR. Using neural network (NN) as an instance, we analyze how the MAR affects the generalization performance of NN. On two popular latent variable models --- restricted Boltzmann machine and distance metric learning, we demonstrate that MAR can effectively capture long-tail patterns, reduce model complexity without sacrificing expressivity and improve interpretability.

研究动机与目标

• 解决潜在变量模型（LVMs）中由于模式流行度呈幂律分布而导致的长尾模式覆盖不足的问题。
• 在大规模复杂数据上训练的高容量LVMs中，降低模型复杂度而不损失表达能力。
• 最小化发现模式之间的冗余与重叠，以提升LVMs的可解释性。
• 开发一种非凸、非光滑的正则化技术，通过互角多样性控制潜在空间几何结构。
• 为正则化器的有效性提供平滑近似以用于优化，并提供理论依据。

提出的方法

• 提出一种互角正则化器（MAR），促使LVM中的潜在组件之间具有更大的互角，以促进多样性。
• 推导非凸且非光滑MAR的平滑下界，以实现实际优化。
• 建立下界与MAR之间的单调性关系，验证下界作为可靠代理函数的有效性。
• 将MAR应用于神经网络，并通过理论分析研究其对泛化误差的影响。
• 将MAR集成到两种标准LVM中：受限玻尔兹曼机（RBMs）和距离度量学习（DML）。
• 使用SGD优化带有MAR平滑下界的正则化目标。

实验结果

研究问题

• RQ1 互角正则化能否有效提升潜在变量模型中低频流行度、长尾模式的覆盖？
• RQ2 在潜在组件之间强制实现角度多样性是否能减少冗余并提升发现模式的可解释性？
• RQ3 MAR是否能在不降低高容量LVMs表达能力的前提下减少模型复杂度？
• RQ4 MAR对基于神经网络的潜在空间建模中泛化性能有何影响？
• RQ5 MAR的平滑下界是否为原始非光滑MAR提供了有效且可靠的优化代理？

主要发现

• MAR在基准数据集上的受限玻尔兹曼机和距离度量学习中显著提升了长尾模式的覆盖能力。
• 采用MAR的模型通过减少学习组件间的冗余，实现了更好的可解释性，表现为模式更加清晰且重叠更少。
• MAR在不牺牲性能的前提下实现了模型复杂度的降低，表现为泛化能力提升和参数敏感性降低。
• MAR的平滑下界与原始MAR在单调性上高度一致，验证了其作为实际优化代理的有效性。
• 在ImageNet和Wikipedia数据集上的实证结果表明，MAR提升了检索精度并降低了模式发现任务的运行时复杂度。
• 泛化误差分析表明，MAR通过促进潜在空间中的结构多样性，改善了基于神经网络的LVMs的泛化性能。