[论文解读] Bayesian representation learning with oracle constraints

Theofanis Karaletsos, Serge Belongie+1 more|arXiv (Cornell University)|Jun 16, 2015

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 34

一句话总结

本文提出了一种贝叶斯生成模型，通过变分推断将人工提供的三元组约束（如人类感知的相似性判断）整合到非线性潜在因子模型中。通过概率化建模三元组约束，并利用掩码子空间解耦语义因子，该方法学习到可解释的、语义结构化的表征，在图像表征任务中优于度量学习和无监督生成模型。

ABSTRACT

Representation learning systems typically rely on massive amounts of labeled data in order to be trained to high accuracy. Recently, high-dimensional parametric models like neural networks have succeeded in building rich representations using either compressive, reconstructive or supervised criteria. However, the semantic structure inherent in observations is oftentimes lost in the process. Human perception excels at understanding semantics but cannot always be expressed in terms of labels. Thus, \emph{oracles} or \emph{human-in-the-loop systems}, for example crowdsourcing, are often employed to generate similarity constraints using an implicit similarity function encoded in human perception. In this work we propose to combine \emph{generative unsupervised feature learning} with a \emph{probabilistic treatment of oracle information like triplets} in order to transfer implicit privileged oracle knowledge into explicit nonlinear Bayesian latent factor models of the observations. We use a fast variational algorithm to learn the joint model and demonstrate applicability to a well-known image dataset. We show how implicit triplet information can provide rich information to learn representations that outperform previous metric learning approaches as well as generative models without this side-information in a variety of predictive tasks. In addition, we illustrate that the proposed approach compartmentalizes the latent spaces semantically which allows interpretation of the latent variables.

研究动机与目标

• 解决在标签数据稀疏或不可用时学习语义上有意义表征的挑战。
• 将隐式的人工参与知识（如感知相似性）转化为显式的、可解释的潜在空间。
• 通过引入结构化、非显式的oracle反馈，克服纯无监督表征学习的局限性。
• 通过在潜在空间中建模oracle约束的掩码子空间，实现解耦的、可解释的潜在表征。
• 开发一种可扩展的端到端框架，联合学习数据和三元组约束，无需监督预训练。

提出的方法

• 将三元组约束（例如，x_i 比 x_l 更相似于 x_j）形式化为潜在表征上的概率似然函数。
• 将oracle的相似性判断建模为潜在因子上的未观测、隐式的相似性函数，使用三元组过程的生成模型。
• 在潜在空间中引入与问题相关的掩码子空间，以隔离并学习与不同类型的oracle查询相关联的独立语义因子（如身份、光照）。
• 使用变分推断算法近似潜在变量的后验分布，实现从数据和三元组约束中高效联合学习。
• 基于信息论距离度量定义三元组观测的似然函数，推广标准基于欧几里得距离的三元组损失。
• 通过联合似然函数联合训练模型，结合数据重建和三元组约束满足，同时优化生成和度量目标。

实验结果

研究问题

• RQ1 能否有效将隐式的人工提供的相似性约束（如来自众包）整合到贝叶斯生成模型中，以提升表征质量？
• RQ2 如何实现潜在空间的解耦，使得不同的语义因子（如身份、光照）被定位在独立的子空间中？
• RQ3 与纯无监督或度量学习方法相比，引入oracle约束在多大程度上提升了下游预测性能？
• RQ4 该模型是否能在无需显式标签或预训练特征的情况下，学习到可解释的、语义上有意义的表征？
• RQ5 使用掩码子空间在多大程度上增强了模型同时从多种多样oracle查询中学习的能力？

主要发现

• 该模型学习到与不同语义因子（如身份、光照方位角、仰角）相对应的解耦、可解释的潜在子空间。
• t-SNE可视化显示，人脸按身份清晰聚类，且在光照角度上呈现平滑过渡，证实了潜在空间中的语义结构。
• 在三元组预测和分类任务中，该模型的性能优于最先进的度量学习和无监督生成模型。
• 通过掩码潜在空间插值的受控图像生成，成功地将一张图像的身份特征与另一张图像的光照条件相结合，展示了语义控制能力。
• 即使在oracle反馈稀疏的情况下，该模型在预测准确率上也优于无监督自编码器和度量学习基线模型。
• 使用掩码子空间使模型能够为不同oracle问题学习到独立且有意义的特征，从而提升了泛化能力和可解释性。