[论文解读] A Survey of Inductive Biases for Factorial Representation-Learning

Karl Ridgeway|arXiv (Cornell University)|Dec 15, 2016

Bayesian Modeling and Causal Inference参考文献 24被引用 37

一句话总结

本综述识别并分类了引导机器学习模型学习因子化表征——即紧凑、解耦且可解释的数据因子化——的归纳偏置。其将这些偏置分类为无监督（例如，不变性、分布性、组合性）和有监督（例如，约束类型、监督强度）两类，表明更强的偏置能带来更好的因子化效果，尤其是在结合有监督学习与自编码器等架构归纳偏置时效果更显著。

ABSTRACT

With the resurgence of interest in neural networks, representation learning has re-emerged as a central focus in artificial intelligence. Representation learning refers to the discovery of useful encodings of data that make domain-relevant information explicit. Factorial representations identify underlying independent causal factors of variation in data. A factorial representation is compact and faithful, makes the causal factors explicit, and facilitates human interpretation of data. Factorial representations support a variety of applications, including the generation of novel examples, indexing and search, novelty detection, and transfer learning. This article surveys various constraints that encourage a learning algorithm to discover factorial representations. I dichotomize the constraints in terms of unsupervised and supervised inductive bias. Unsupervised inductive biases exploit assumptions about the environment, such as the statistical distribution of factor coefficients, assumptions about the perturbations a factor should be invariant to (e.g. a representation of an object can be invariant to rotation, translation or scaling), and assumptions about how factors are combined to synthesize an observation. Supervised inductive biases are constraints on the representations based on additional information connected to observations. Supervisory labels come in variety of types, which vary in how strongly they constrain the representation, how many factors are labeled, how many observations are labeled, and whether or not we know the associations between the constraints and the factors they are related to. This survey brings together a wide variety of models that all touch on the problem of learning factorial representations and lays out a framework for comparing these models based on the strengths of the underlying supervised and unsupervised inductive biases.

研究动机与目标

• 识别并系统化鼓励神经网络学习因子化表征的归纳偏置——即潜在变化因素被显式且独立编码的表征。
• 区分表示学习中的无监督归纳偏置（如对变换的不变性、稀疏性、多线性组合）与有监督归纳偏置（如标注属性、三元组约束）。
• 评估不同组合与强度的归纳偏置对学习表征解耦性与可解释性的影响。
• 基于模型的底层归纳偏置及其在实现因子化因子化方面的有效性，提供一个比较性评估框架。
• 识别开放的研究方向，包括数据偏置的作用、非因子化环境的影响，以及归纳偏置的新组合方式。

提出的方法

• 将归纳偏置分类为无监督（分布性、不变性、组合性）与有监督（约束类型、监督强度）两类。
• 分析关于因子分布的假设（如高斯分布、稀疏性）如何影响表征学习。
• 研究基于不变性的偏置，如独立子空间分析（ISA）与协作向量量化，用于学习对变换不变的特征。
• 探索组合性偏置，如多线性模型、功能部件与分层结构，以建模观测中因子的组合方式。
• 通过约束类型（如标注因子、三元组损失）及其对解耦性的影响，评估有监督约束，以SSVAE、disBM与孪生网络等模型为案例研究。
• 提出架构扩展（如将自编码器与多线性或稀疏性偏置结合），以提升效率与因子化效果。

实验结果

研究问题

• RQ1 不同的无监督归纳偏置（如对变换的不变性、稀疏性）如何促进学习解耦表征？
• RQ2 有监督约束（如标注属性、三元组损失）的相对影响如何？其对学习表征中因子化程度的影响如何？
• RQ3 更强的归纳偏置是否能始终带来更好的解耦性与跨模型效应？
• RQ4 归纳偏置的组合（如稀疏性 + 不变性，多线性 + 自编码器）如何提升表征质量与效率？
• RQ5 数据集偏置或非因子化数据结构在学习因子化表征能力中起到什么作用？

主要发现

• 更强的归纳偏置，尤其是与有监督学习结合时，能带来更好的解耦性与更明确的因子化，SSVAE与disBM等模型中的交叉效应已证实这一点。
• 使用部分标注数据集的模型（如SSVAE、disBM）显示出更强的因子化证据，表明即使有限的监督也能显著提升解耦性。
• mm t-SNE 模型尽管使用了强距离约束，却因在高维非因子化数据集中存在高因子相关性与因子无关约束，导致因子化效果微弱。
• 将无监督偏置（如多线性组合）与自编码器结合，可减小模型规模并提升不变性，表明架构协同能增强因子化效果。
• 新型偏置组合（如池化稀疏性与ISA结合，或非负性与多线性模型结合）为实现更高效、可解释的表征提供了有前景的路径。
• 尽管尚未被充分利用，因子无关约束在无需预先知晓因子身份的情况下，仍具有学习解耦表征的潜力，尤其在扩展至Karaletsos等模型时更为显著。