[论文解读] Discovery and Separation of Features for Invariant Representation Learning

Ayush Jaiswal, Rob Brekelmans+4 more|arXiv (Cornell University)|Dec 2, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用 6

一句话总结

该论文提出了一种新颖的深度学习框架，通过信息论方法发现并分离数据中的预测因子与干扰因子，实现了无需干扰因子标注的不变表示学习。该方法学习两个独立的嵌入——一个用于预测内容，一个用于干扰因子——在多个数据集上实现了最先进性能，对旋转、姿态和光照等干扰因子具有完全的不变性。

ABSTRACT

Supervised machine learning models often associate irrelevant nuisance factors with the prediction target, which hurts generalization. We propose a framework for training robust neural networks that induces invariance to nuisances through learning to discover and separate predictive and nuisance factors of data. We present an information theoretic formulation of our approach, from which we derive training objectives and its connections with previous methods. Empirical results on a wide array of datasets show that the proposed framework achieves state-of-the-art performance, without requiring nuisance annotations during training.

研究动机与目标

• 解决监督模型学习到与干扰因子的虚假相关性的问题，从而损害在未见数据配置下的泛化能力。
• 开发一种在训练过程中无需标注干扰因子的方法，以诱导对干扰因子的不变性。
• 通过将预测因子与干扰因子分离为独立嵌入，学习数据的完整解耦表示。
• 提供一种理论基础坚实的信息论公式化方法，用于不变表示学习，并与先前方法建立联系。
• 在多样化的基准数据集上实证验证该框架相较于最先进方法的优越性。

提出的方法

• 该框架采用类似变分自编码器的架构，包含两个独立的潜在嵌入：$ z_p $ 用于预测因子，$ z_n $ 用于干扰因子。
• 引入联合训练目标，结合对 $ y $ 的预测损失、对 $ x $ 的重构损失，以及信息约束，以强制 $ z_p $ 与 $ z_n $ 之间的独立性。
• 从信息论公式推导出两个等价的训练目标，确保 $ z_p $ 对干扰因子保持不变，同时保留预测信息。
• 通过最小化 $ z_p $ 与干扰因子之间的互信息来强制执行信息约束，促进解耦。
• 使用可微分近似方法训练模型，以实现端到端的梯度优化。
• 根据数据集选择全连接层或卷积层构建网络架构，并为预测和重构任务分别设计独立头结构。

实验结果

研究问题

• RQ1 深度神经网络能否在不依赖标注的干扰因子标签的情况下，学习到数据中预测因子与干扰因子的解耦？
• RQ2 如何设计一种信息论框架，以在保留预测信息的同时诱导表示的不变性？
• RQ3 所提出方法与先前方法（如UAI）之间存在何种关系？其相较于这些方法有何改进？
• RQ4 该框架在未见干扰配置（如分布外的旋转角度或光照变化）下的泛化能力如何？
• RQ5 所学习的 $ z_p $ 嵌入能否在保持高预测准确率的同时，对干扰因子保持不变性？

主要发现

• 在MNIST-ROT数据集上，所提出框架的所有版本均实现了最先进 $ y $-准确率（例如，DSF-H优于先前最先进方法），同时达到随机猜测水平的 $ s $-准确率（0.20），表明对旋转具有完全不变性。
• 在MNIST-DIL数据集上，该框架在未显式控制笔画宽度的情况下，仍能更有效地保留 $ z_p $ 中的预测信息，优于先前方法。
• 在Multi-PIE数据集上，模型在姿态和光照两个任务上均实现了更高的 $ y $-准确率和 $ s $-准确率，t-SNE可视化结果证实干扰因子被成功分离至 $ z_n $。
• 在Chairs数据集上，该框架在 $ y $-准确率上优于先前方法，并在方向性任务上达到随机猜测水平的 $ s $-准确率（0.25），证实无需 $ s $-标签监督即可实现不变性。
• 所有数据集上 $ z_p $ 与 $ z_n $ 的 t-SNE 可视化结果均表明：预测内容被保留在 $ z_p $ 中，而偏航角、光照和姿态等干扰因子则被隔离在 $ z_n $ 中。
• 理论分析表明，所提出的框架优于UAI模型，因其通过信息约束显式强制实现了解耦。