[논문 리뷰] Neural Photometric Stereo Reconstruction for General Reflectance Surfaces.

Tatsunori Taniai, Takanori Maehara|arXiv (Cornell University)|2018. 02. 28.

Computer Graphics and Visualization Techniques인용 수 2

한 줄 요약

이 논문은 표면 법선과 BRDF를 지도 학습 없이 예측하는 재구성 기반 비지도 딥 러닝 프레임워크를 제안한다. 관측된 이미지와 합성된 이미지 간의 재구성 손실을 미분 가능한 렌더러를 통해 최소화함으로써, 실제 데이터 기반 벤치마크에서 최신 기술 수준의 성능을 달성하며, 학습 데이터 부족과 입력 이미지 순서 민감도 문제를 해결한다.

ABSTRACT

We present a novel convolutional neural network architecture for photometric stereo (Woodham, 1980), a problem of recovering 3D object surface normals from multiple images observed under varying illuminations. Despite its long history in computer vision, the problem still shows fundamental challenges for surfaces with unknown general reflectance properties (BRDFs). Leveraging deep neural networks to learn complicated reflectance models is promising, but studies in this direction are very limited due to difficulties in acquiring accurate ground truth for training and also in designing networks invariant to permutation of input images. In order to address these challenges, we propose a reconstruction based unsupervised learning framework where surface normals and BRDFs are predicted by the network and fed into the rendering equation to synthesize observed images. The network is trained during testing by minimizing reconstruction loss between observed and synthesized images. Thus, our learning process does not require ground truth normals or even pre-training on external images. Our method is shown to achieve the state-of-the-art performance on a challenging real-world scene benchmark.

연구 동기 및 목표

• 다양한 조명 조건 하에서 일반 BRDF를 가진 표면의 3차원 표면 법선 복원 문제를 해결하기 위해.
• 광학 스테레오에서 딥 네트워크 학습을 위한 정확한 지도 데이터 부족 문제를 해결하기 위해.
• 입력 이미지 순서에 민감하지 않은 신경망 아키텍처를 설계하기 위해.
• 실제 관측 이미지를 사용하여 사전 훈련 없이도 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 재구성 손실 기반 비지도 학습을 통해 실제 광학 스테레오 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 다양한 조명 조건에서 입력되는 다중 이미지로부터 표면 법선과 BRDF 파라미터를 동시에 예측하는 컨볼루션 신경망을 활용한다.
• 예측된 법선과 BRDF는 미분 가능한 렌더링 식에 입력되어 입력 조명 조건에 해당하는 이미지를 합성한다.
• 학습 과정에서는 합성된 이미지와 실제 관측된 이미지 간의 재구성 손실을 최소화함으로써 네트워크를 최적화한다.
• 학습 과정은 지도 학습이 아니며, 지도 데이터로 사용되는 법선이나 BRDF가 필요 없고, 오직 관측된 입력 이미지만을 기반으로 한다.
• 아키텍처는 입력 이미지 순서에 대해 순열 불변성을 가지도록 설계되어, 입력 순서에 관계없이 일관된 예측을 보장한다.
• 프레임워크는 테스트 데이터에 직접 최적화를 수행할 수 있어, 외부 사전 훈련 없이도 실제 장면에 네트워크를 적응시킬 수 있다.

실험 결과

연구 질문

• RQ1 지속적인 지도 데이터 없이도 다양한 조명 조건에서의 다중 이미지로부터 정확한 표면 법선을 딥 뉴럴 네트워크가 복원할 수 있는가?
• RQ2 라벨이 없는 조건에서 알려지지 않은 일반 BRDF에 대해 강건한 광학 스테레오 방법을 어떻게 설계할 수 있는가?
• RQ3 미분 가능한 렌더링 기반 비지도 재구성 손실이 실제 장면에서 지도 또는 약한 지도 기반 기준보다 우수한 성능을 낼 수 있는가?
• RQ4 사전 훈련 없이 합성 데이터나 라벨 데이터를 사용하지 않고도 재구성 손실만으로 훈련된 네트워크가 실제 데이터에 얼마나 잘 일반화되는가?
• RQ5 입력 이미지 순서에 관계없이 안정적인 성능을 내기 위해 광학 스테레오 네트워크에서 순열 불변성을 효과적으로 어떻게 확보할 수 있는가?

주요 결과

• 제안된 방법은 지도 데이터로 사용되는 법선이나 BRDF가 전혀 필요 없이 도전적인 실제 장면 광학 스테레오 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 재구성 손실 기반 비지도 학습 프레임워크는 테스트 데이터에 직접 효과적인 최적화를 가능하게 하여 외부 지도 학습이 필요 없음을 보여준다.
• 아키텍처 설계 덕분에 입력 이미지 순서에 대한 민감도가 낮아, 입력 순서에 관계없이 일관된 예측을 보인다.
• 재구성 목표를 통해 명시적인 지도 없이도 복잡한 반사 모델(BRDF)을 암묵적으로 학습할 수 있었다.
• 프레임워크는 실제 장면에 대해 잘 일반화되어 있으며, 반사 성질이 알려지지 않은 벤치마크 데이터셋에서 기존 방법들을 능가한다.
• 훈련 과정에서 사전 훈련이나 지도 데이터가 전혀 없이도 재구성 기반 비지도 학습 파라다임이 광학 스테레오에서 매우 효과적임을 입증한다.