[论文解读] HOME: High-Order Mixed-Moment-based Embedding for Representation Learning

Chuang Niu, Ge Wang|arXiv (Cornell University)|Jul 15, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 HOME（高阶混合矩嵌入），一种新颖的自监督表示学习框架，通过最小化高阶混合矩（特别是三阶混合矩）来减少特征变量之间的冗余，超越成对相关性。通过利用多变量互信息最小化来强制实现混合矩的分解，HOME 在 CIFAR-10 上的线性评估准确率相比 Barlow Twins 提升了 4.1%，实现了最先进性能，且无需使用非对称架构或内存库。

ABSTRACT

Minimum redundancy among different elements of an embedding in a latent space is a fundamental requirement or major preference in representation learning to capture intrinsic informational structures. Current self-supervised learning methods minimize a pair-wise covariance matrix to reduce the feature redundancy and produce promising results. However, such representation features of multiple variables may contain the redundancy among more than two feature variables that cannot be minimized via the pairwise regularization. Here we propose the High-Order Mixed-Moment-based Embedding (HOME) strategy to reduce the redundancy between any sets of feature variables, which is to our best knowledge the first attempt to utilize high-order statistics/information in this context. Multivariate mutual information is minimum if and only if multiple variables are mutually independent, which suggests the necessary conditions of factorized mixed moments among multiple variables. Based on these statistical and information theoretic principles, our general HOME framework is presented for self-supervised representation learning. Our initial experiments show that a simple version in the form of a three-order HOME scheme already significantly outperforms the current two-order baseline method (i.e., Barlow Twins) in terms of the linear evaluation on representation features.

研究动机与目标

• 为解决现有自监督方法仅通过协方差正则化最小化成对特征冗余的局限性。
• 探究特征变量之间的高阶统计依赖性是否能提升表示质量。
• 开发一种基于原则、通用的框架，利用高阶统计强制实现所有特征变量集合的最小冗余。
• 证明高阶混合矩（尤其是三阶）可显著增强表示学习，且无需引入特定架构约束。
• 为未来在深度学习中实现可扩展的基于高阶矩的自监督方法奠定基础。

提出的方法

• HOME 框架使用单分支神经网络，包含编码器和投影头，从同一输入的增强视图中提取特征。
• 引入一种高阶混合矩损失，通过多变量互信息最小化来强制实现多个特征变量间混合矩的分解，其统计原理为：当且仅当变量相互独立时，多变量互信息最小。
• 通过跨数据增强视图的交叉混合矩与自混合矩张量，构建三阶混合矩约束。
• 探索了三种变体：HOME-T3-O2-Cross（在三个视图间计算交叉混合矩）、HOME-T2-O3-Cross（在两个视图间计算）和 HOME-T2-O3-Self（在单一视图上计算自混合矩），其中后者在计算成本更低的情况下表现出相当的性能。
• 损失函数通过使用余弦学习率调度的 SGD 进行端到端优化，线性探针用于评估表示质量。
• 该框架不依赖非对称网络、动量更新或内存库，仅依靠高阶矩正则化。

实验结果

研究问题

• RQ1 超越成对相关性的高阶混合矩是否能改善自监督表示学习？
• RQ2 三阶混合矩的分解是否足以实现优于成对协方差最小化的表示？
• RQ3 通过高阶统计强制实现相互独立，是否能产生更紧凑且信息量更丰富的特征表示？
• RQ4 在不使用架构或训练技巧的前提下，采用高阶矩约束的对称单分支架构能否超越现有最先进方法？
• RQ5 在实际中使用高阶矩是否可行？在性能与计算成本之间，交叉与自混合矩哪种变体更具优势？

主要发现

• 三阶 HOME 框架在 CIFAR-10 上的线性探针评估中，相比两阶的 Barlow Twins 基线，Top-1 准确率提升了 4.1%。
• HOME-T2-O3-Self-One 在仅对一个随机选择的变换应用三阶混合矩约束时，性能与更复杂的变体相当，表明其在不损失性能的前提下具有更高的计算效率。
• HOME-T2-O3-Cross 变体在 CIFAR-10 上实现了 91.2% 的 Top-1 准确率和 99.7% 的 Top-5 准确率，超越了所有基线方法，包括 MoCo、SimCLR、BYOL 和 DINO。
• 该方法在不使用非对称网络设计、动量更新、内存库或停止梯度的情况下，实现了 CIFAR-10 上的最先进结果。
• 结果验证了理论主张：通过高阶矩分解最小化多变量互信息，可获得更解耦且信息更丰富的表示。
• 本研究证明，高阶统计可被有效应用于自监督学习，为未来研究开辟了新方向。