[논문 리뷰] Self-calibrating Deep Photometric Stereo Networks

Guanying Chen, Kai Han외 3명|arXiv (Cornell University)|2019. 03. 18.

Advanced Vision and Imaging참고 문헌 35인용 수 5

한 줄 요약

이 논문은 비교적 반사 모델이 알려지지 않은 비라운드 반사 표면을 대상으로 캘리브레이션되지 않은 광학 스테레오를 위한 이중 단계 딥 러닝 프레임워크인 SDPS-Net을 제안한다. 이 방법은 표면 법선과 알려지지 않은 조명 방향 및 강도를 동시에 추정하며, 조명 캘리브레이션을 표면 법선 추정에서 분리하고 중간 단계의 지도 학습을 활용함으로써, 합성 및 실제 세계 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다. 이는 이전의 캘리브레이션되지 않은 접근 방식보다 표면 법선 및 조명 추정 정확도에서 뚜렷한 우월성을 보인다.

ABSTRACT

This paper proposes an uncalibrated photometric stereo method for non-Lambertian scenes based on deep learning. Unlike previous approaches that heavily rely on assumptions of specific reflectances and light source distributions, our method is able to determine both shape and light directions of a scene with unknown arbitrary reflectances observed under unknown varying light directions. To achieve this goal, we propose a two-stage deep learning architecture, called SDPS-Net, which can effectively take advantage of intermediate supervision, resulting in reduced learning difficulty compared to a single-stage model. Experiments on both synthetic and real datasets show that our proposed approach significantly outperforms previous uncalibrated photometric stereo methods.

연구 동기 및 목표

• 비라운드 반사 표면과 임의의 알려지지 않은 반사 모델을 가진 경우에 대해 캘리브레이션되지 않은 광학 스테레오 문제를 해결하기 위해.
• 이전 방법들이 반사 특성이나 조명원 분포에 대해 제한적인 가정에 의존하는 데서 비롯되는 한계를 극복하기 위해.
• 이중 단계 아키텍처를 통해 중간 단계의 지도 학습을 도입하여 표면 법선과 조명 추정의 병렬 학습 난이도를 낮추고자 하였다.
• 이미 존재하는 캘리브레이션된 광학 스테레오 방법들이 조명 조건이 알려지지 않은 상황에서도 조명 추정 모듈과의 원활한 통합을 통해 기능할 수 있도록 하기 위해.
• 다양한 재질과 복잡한 반사 특성을 가진 실제 환경에서 안정적이고 정확한 표면 법선 및 조명 추정을 달성하기 위해.

제안 방법

• 이 프레임워크는 두 단계로 구성된다: 입력 영상에서 조명 방향과 강도를 추정하는 조명 캘리브레이션 네트워크(LCNet)와, 그 다음에 표면 법선을 예측하는 표면 법선 추정 네트워크(NENet)이다.
• LCNet은 임의의 수의 입력 영상을 처리하며, 중간 단계의 지도 학습을 활용한 딥 네트워크를 통해 3차원 조명 방향 벡터와 스칼라 강도를 회귀한다.
• NENet은 추정된 조명 조건과 입력 영상들을 입력으로 받아, 캘리브레이션된 조명 정보를 활용하여 정밀도를 향상시킨 밀도 있는 표면 법선 맵을 예측한다.
• 이중 단계 설계 덕분에 중간 단계의 지도 학습이 가능해져, 종단 간 학습의 복잡도를 감소시키고 모델의 해석 가능성을 향상시킨다.
• 이 방법은 유일하게 균일한 재질 특성을 가진 합성 데이터로만 훈련되었지만, 복잡한 반사 특성을 가진 실제 세계 시나리오로도 일반화된다.
• 조명 추정 모듈은 기존의 캘리브레이션된 광학 스테레오 네트워크와 통합되어, 캘리브레이션되지 않은 설정에서도 적용 가능성을 확장할 수 있다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 방법이 반사 특성이나 조명 분포에 대한 사전 가정 없이 비라운드 표면에 대해 표면 법선과 알려지지 않은 조명 방향을 동시에 추정할 수 있는가?
• RQ2 조명 추정에 대해 중간 단계의 지도 학습을 도입한 이중 단계 아키텍처가 종단 간 학습에 비해 학습 난이도를 낮추고 최종 표면 법선 추정 성능을 향상시키는가?
• RQ3 제안된 조명 추정 모듈이 기존의 캘리브레이션된 광학 스테레오 네트워크와 효과적으로 전이되고 통합되어 캘리브레이션되지 않은 상황을 다룰 수 있는가?
• RQ4 이 방법은 복잡하고 균일하지 않은 반사 특성과 다양한 조명 조건을 가진 실제 세계 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ5 표면 법선 및 조명 추정 정확도 측면에서 최신 기술 수준의 캘리브레이션되지 않은 광학 스테레오 방법에 비해 제안된 방법이 얼마나 높은 정량적 성능 향상을 달성하는가?

주요 결과

• 기준 데이터셋에서 SDPS-Net은 평균 표면 법선 추정 오차가 9.51°로, 이전 최고 성능 방법인 UPS-FCN(13.62°)보다 뚜렷이 떨어지지 않아 성능을 크게 향상시켰다.
• Gourd&Apple 데이터셋에서 평균 조명 방향 오차는 6.83°, 강도 오차는 0.113를 기록하여 도전적인 실제 세계 데이터에 대해 뛰어난 안정성을 입증하였다.
• Light Stage Data Gallery에서 평균 조명 방향 오차는 13.61°, 강도 오차는 0.221을 기록하여 다양한 실제 세계 시나리오에 걸쳐 강력한 일반화 성능을 보였다.
• 절단 실험 결과, 중간 단계 지도 학습을 포함한 이중 단계 설계(LCNet + NENet)가 기준 LCNet 단독 회귀 대비 평균 표면 법선 오차를 11.03° 감소시켰다.
• 실제 데이터셋에서 시각적으로 타당하고 정확한 표면 법선 맵을 생성하였으며, 그 결과는 그림 8(c)-(g)에서 확인할 수 있어 실용적 적용 가능성을 확인하였다.
• 균일한 재질에서 뛰어난 성능를 보였지만, 색상 변화가 급격한 다중 재질 표면에서는 한계를 보였으며, 이는 향후 공간적으로 변화하는 BRDF 모델에 대한 연구가 필요함을 시사한다.