[논문 리뷰] Deep Lambertian Networks

Yichuan Tang, Ruslan Salakhutdinov외 1명|arXiv (Cornell University)|2012. 06. 27.

Advanced Vision and Imaging참고 문헌 18인용 수 45

한 줄 요약

이 논문은 람베르티안 반사 모델을 결합한 다층 신뢰망을 사용하여 2D 이미지에서 알베도, 표면 법선, 조도를 분리하는 딥 생성 모델인 딥 람베르티안 네트워크를 제안한다. 조도 불변 사전 확률을 학습함으로써, 전이 학습과 분리된 표현을 통해 정확한 1샷 얼굴 인식을 가능하게 하여 표준 기준 모델을 능가한다.

ABSTRACT

Visual perception is a challenging problem in part due to illumination variations. A pos-sible solution is to first estimate an illumi-nation invariant representation before using it for recognition. The object albedo and surface normals are examples of such rep-resentations. In this paper, we introduce a multilayer generative model where the latent variables include the albedo, surface normals, and the light source. Combining Deep Be-lief Nets with the Lambertian reflectance as-sumption, our model can learn good priors over the albedo from 2D images. Illumina-tion variations can be explained by changing only the lighting latent variable in our model. By transferring learned knowledge from sim-ilar objects, albedo and surface normals es-timation from a single image is possible in our model. Experiments demonstrate that our model is able to generalize as well as im-prove over standard baselines in one-shot face recognition. 1.

연구 동기 및 목표

• 시각 인식에서 조도 변화 문제를 조도 불변 표현을 학습하여 해결하기 위해.
• 2D 이미지에서 알베도, 표면 법선, 조도 원천을 동시에 추정하는 딥 생성 모델을 개발하기 위해.
• 유사한 물체 간의 지식 전이를 통해 분리된 잠재 표현을 이용해 단일 이미지 기반 알베도 및 표면 법선 추정을 가능하게 하여 1샷 얼굴 인식을 실현하기 위해.
• 저자료 환경에서 표준 기준 모델 대비 일반화 능력과 성능 향상을 위해.

제안 방법

• 모델는 알베도, 표면 법선, 조도를 위한 잠재 변수를 모델링하기 위해 딥 벨리프 네트워크 기반의 다층 생성 네트워크를 사용한다.
• 물리적으로 타당한 이미지 생성을 보장하기 위해 람베르티안 반사 모델을 사전으로 통합한다.
• 잠재 변수는 2D 이미지에서 사전을 학습하기 위해 딥 벨리프 네트워크 프레임워크를 통해 엔드 투 엔드로 훈련된다.
• 조도 변화는 오직 조도 잠재 변수만 조정하여 조도 영향을 고유 성질에서 분리한다.
• 유사한 물체 간 지식 전이를 통해 단일 이미지에서 알베도 및 표면 법선 추정이 가능하다.
• 모델는 생성 학습을 활용하여 단일 입력 이미지에서 분리된 요소를 추론한다.

실험 결과

연구 질문

• RQ1 람베르티안 가정 하에 딥 생성 모델이 2D 이미지에서 알베도, 표면 법선, 조도를 효과적으로 분리할 수 있는가?
• RQ2 유사한 물체 간 지식 전이를 통해 이러한 모델이 1샷 얼굴 인식 작업에 잘 일반화되는가?
• RQ3 표준 기준 모델 대비 조도 불변 사전을 학습함으로써 인식 성능 향상이 이루어지는가?
• RQ4 단일 이미지 기반 알베도 및 표면 법선 추정은 얼마나 분리된 표현을 통해 달성될 수 있는가?

주요 결과

• 딥 벨리프 네트워크 프레임워크를 사용하여 2D 이미지에서 조도 불변 사전을 성공적으로 학습하였다.
• 조도 변화는 오직 조도 잠재 변수만 조정하여 효과적으로 설명되었으며, 알베도 및 법선은 유지되었다.
• 표준 기준 모델 대비 1샷 얼굴 인식에서 향상된 성능을 달성하였다.
• 유사한 물체 간 지식 전이를 통해 단일 이미지에서 정확한 알베도 및 표면 법선 추정이 가능하였다.