[论文解读] Deep Lambertian Networks

Yichuan Tang, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Vision and Imaging参考文献 18被引用 45

一句话总结

本文提出深度朗伯网络（Deep Lambertian Networks），一种深度生成模型，通过结合多层信念网络与朗伯反射模型，从2D图像中解耦反照率、表面法线和光照。通过学习光照不变的先验，该模型实现了通过迁移学习和解耦表示的准确少样本人脸识别，优于标准基线模型。

ABSTRACT

Visual perception is a challenging problem in part due to illumination variations. A pos-sible solution is to first estimate an illumi-nation invariant representation before using it for recognition. The object albedo and surface normals are examples of such rep-resentations. In this paper, we introduce a multilayer generative model where the latent variables include the albedo, surface normals, and the light source. Combining Deep Be-lief Nets with the Lambertian reflectance as-sumption, our model can learn good priors over the albedo from 2D images. Illumina-tion variations can be explained by changing only the lighting latent variable in our model. By transferring learned knowledge from sim-ilar objects, albedo and surface normals es-timation from a single image is possible in our model. Experiments demonstrate that our model is able to generalize as well as im-prove over standard baselines in one-shot face recognition. 1.

研究动机与目标

• 为解决视觉感知中光照变化的挑战，通过学习光照不变表示。
• 开发一种深度生成模型，联合估计2D图像中的反照率、表面法线和光源。
• 通过相似对象间的知识迁移，利用解耦潜在表示实现少样本人脸识别。
• 在低数据场景下，提升泛化能力与性能，优于标准基线模型。

提出的方法

• 该模型使用基于深度信念网络的多层生成网络，对反照率、表面法线和光照的潜在变量进行建模。
• 将朗伯反射模型作为先验，以确保生成图像的物理合理性。
• 通过端到端的深度信念网络框架训练潜在变量，从2D图像中学习先验。
• 通过仅调整光照潜在变量来建模光照变化，将光照效应与固有属性解耦。
• 通过相似对象之间的知识迁移，实现单张图像下反照率与表面法线的估计。
• 该模型利用生成学习，从未观测的单张输入图像中推断解耦因子。

实验结果

研究问题

• RQ1 在朗伯假设下，深度生成模型能否有效从2D图像中解耦反照率、表面法线和光照？
• RQ2 通过在相似对象间迁移知识，此类模型能否在少样本人脸识别任务中实现良好泛化？
• RQ3 与标准基线相比，学习光照不变先验是否能提升识别性能？
• RQ4 在多大程度上可利用解耦表示实现单图像下的反照率与表面法线估计？

主要发现

• 该模型成功利用深度信念网络框架，从2D图像中学习到光照不变的反照先验。
• 通过仅调整光照潜在变量，有效解释了光照变化，同时保持反照率与法线不变。
• 与标准基线相比，该模型在少样本人脸识别任务中实现了性能提升。
• 通过相似对象间的知识迁移，实现了从单张图像中准确估计反照率与表面法线。