[论文解读] Discovering Hidden Factors of Variation in Deep Networks

Brian Cheung, Jesse A. Livezey+2 more|arXiv (Cornell University)|Dec 1, 2014

Face recognition and analysis被引用 26

一句话总结

本文提出一种在自编码器中使用交叉协方差惩罚（XCov）正则化的方法，以解耦并显式表示隐藏的变异因素——例如手写风格在MNIST数字图像中，以及面部图像中的人物身份——这些因素超越了主要的分类信号。该方法使深度网络能够发现、表示并外推数据中未见的变异，已在MNIST、TFD和Multi-PIE数据集上得到验证，可实现对数据实例的可控生成。

ABSTRACT

Deep learning has enjoyed a great deal of success because of its ability to learn useful features for tasks such as classification. But there has been less exploration in learning the factors of variation apart from the classification signal. By augmenting autoencoders with simple regularization terms during training, we demonstrate that standard deep architectures can discover and explicitly represent factors of variation beyond those relevant for categorization. We introduce a cross-covariance penalty (XCov) as a method to disentangle factors like handwriting style for digits and subject identity in faces. We demonstrate this on the MNIST handwritten digit database, the Toronto Faces Database (TFD) and the Multi-PIE dataset by generating manipulated instances of the data. Furthermore, we demonstrate these deep networks can extrapolate `hidden' variation in the supervised signal.

研究动机与目标

• 解决深度网络在学习主要分类信号之外的解耦表示方面的局限性。
• 发现并显式表示诸如数字中的手写风格和面部图像中的人物身份等隐藏变异因素。
• 仅使用监督信号，使深度网络能够外推数据中未见的变异。
• 开发一种正则化技术，鼓励解耦，而无需为每个因素提供显式监督。

提出的方法

• 在自编码器训练过程中引入交叉协方差惩罚（XCov）作为正则化项，以最小化潜在因子之间的统计依赖性。
• 将XCov应用于标准深度自编码器架构，以促进学习潜在空间中风格与内容等因子的解耦。
• 利用正则化后的自编码器通过插值或修改特定解耦因子来生成受控的数据实例。
• 仅使用分类标签在标准数据集（MNIST、TFD、Multi-PIE）上进行训练，但仍能学习表示非分类因子。
• 采用一种简单且可微的惩罚项，对不同潜在因子分量之间的交叉协方差施加惩罚。
• 利用解耦表示实现零样本生成，即生成训练数据中未出现的未见变异。

实验结果

研究问题

• RQ1 标准深度自编码器是否能在不为这些因子提供显式监督的情况下，发现并表示隐藏的变异因素？
• RQ2 交叉协方差惩罚（XCov）在解耦图像数据中如手写风格和身份等因子方面的有效性如何？
• RQ3 学习到的表示是否能外推到训练集中未出现的未见数据变异？
• RQ4 在仅使用分类标签和XCov正则化的情况下，解耦表示在多大程度上可以被生成和控制？

主要发现

• XCov正则化有效解耦了如MNIST中的手写风格和面部图像中的人物身份等因子，实现了对这些属性的可控操纵。
• 通过修改特定解耦因子，模型能够生成合理且多样的数据实例，证明了对隐藏变异的显式控制。
• 即使仅使用分类标签，网络仍能学习表示并外推未见的数据变异，如新的手写风格或人物身份。
• 该方法在无需为单个因子提供弱监督或自监督信号的情况下实现了解耦，完全依赖XCov惩罚。
• 该方法在不同数据集上具有泛化能力，在MNIST、多伦多面部数据库（TFD）和Multi-PIE上均表现出一致的解耦性能。
• 当特定潜在因子被改变时，生成样本显示出有意义且语义连贯的变化，证实了所学表示的可解释性。