[论文解读] Learning Less-Overlapping Representations

Pengtao Xie, Hongbao Zhang+1 more|arXiv (Cornell University)|Nov 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 38被引用 3

一句话总结

本文提出了一种新颖的正则化方法 LDD-L1，通过同时促进权重向量的稀疏性和近正交性，减少表示学习中支持集的重叠。该方法应用于神经网络和稀疏编码时，提升了模型的可解释性和泛化能力，在 PTB 语言建模和 CIFAR-10 图像分类任务上均取得了当前最优性能，相比 L1 和仅促进正交性的正则化方法，困惑度和错误率更低。

ABSTRACT

In representation learning (RL), how to make the learned representations easy to interpret and less overfitted to training data are two important but challenging issues. To address these problems, we study a new type of regulariza- tion approach that encourages the supports of weight vectors in RL models to have small overlap, by simultaneously promoting near-orthogonality among vectors and sparsity of each vector. We apply the proposed regularizer to two models: neural networks (NNs) and sparse coding (SC), and develop an efficient ADMM-based algorithm for regu- larized SC. Experiments on various datasets demonstrate that weight vectors learned under our regularizer are more interpretable and have better generalization performance.

研究动机与目标

• 通过减少学习到的权重向量之间的冗余，提升表示学习模型的可解释性。
• 通过约束学习表示的结构复杂度，减少过拟合并提升泛化能力。
• 开发一种统一的正则化方法，联合促进权重向量的稀疏性和近正交性。
• 在多种模型和数据集（包括 NLP 和图像分类任务）上展示所提出正则化器的有效性。

提出的方法

• 提出一种平滑正则化器 LDD-L1，促使权重向量具备稀疏性且彼此接近正交，从而最小化其支持集的重叠。
• 基于向量支持集的 Jaccard 指数定义非重叠度评分，用于衡量向量之间的重叠程度。
• 采用 L1 正则化促进单个权重向量的稀疏性，同时通过正交化约束减少支持集重叠。
• 设计一种基于 ADMM 的高效优化算法，用于求解正则化稀疏编码问题。
• 将 LDD-L1 正则化器应用于深度神经网络和稀疏编码模型，实现端到端训练并提升泛化性能。

实验结果

研究问题

• RQ1 减少学习到的权重向量支持集的重叠，是否能提升表示学习中模型的可解释性？
• RQ2 在权重向量中强制实现稀疏性和近正交性，是否能提升模型在未见数据上的泛化能力？
• RQ3 与 L1 和正交性促进方法等现有正则化器相比，所提出的 LDD-L1 正则化器在性能上表现如何？
• RQ4 LDD-L1 正则化器能否有效应用于神经网络和稀疏编码模型？

主要发现

• 在 PTB 语言建模数据集上，LDD-L1 正则化器将测试困惑度降低至 71.1，优于未正则化的基线模型（72.3）及其他正则化方法。
• 在 CIFAR-10 上，LDD-L1 正则化器实现了 3.60% 的测试错误率，优于未正则化的 WideResNet（3.89%）及其他正则化方法，如 L1（3.81%）和仅促进正交性的方法（如 AC-WideResNet 为 3.63%）。
• LDD-L1 正则化器的错误率低于仅稀疏性（L1）或仅正交性约束的正则化方法，证明了联合促进稀疏性与正交性的优越性。
• 所提出的基于 ADMM 的正则化稀疏编码算法收敛高效，能够有效学习到重叠更少的表示。