[논문 리뷰] SPLINE-Net: Sparse Photometric Stereo through Lighting Interpolation and Normal Estimation Networks

Qian Zheng, Yiming Jia외 4명|arXiv (Cornell University)|2019. 05. 10.

Computer Graphics and Visualization Techniques참고 문헌 39인용 수 6

한 줄 요약

SPLINE-Net는 대칭 및 비대칭 손실 함수를 사용하여 깊이 신경망을 통해 조명 보간과 법선 추정을 동시에 학습함으로써 희소 광학 스테레오 문제를 해결한다. 일반 BRDF를 모델링하고 등방성 제약 조건과 구조적 보간을 통해 전반적인 조명 외곽선을 거부함으로써, 이전 방법들보다 훨씬 적은 10장의 입력 이미지로도 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

This paper solves the Sparse Photometric stereo through Lighting Interpolation and Normal Estimation using a generative Network (SPLINE-Net). SPLINE-Net contains a lighting interpolation network to generate dense lighting observations given a sparse set of lights as inputs followed by a normal estimation network to estimate surface normals. Both networks are jointly constrained by the proposed symmetric and asymmetric loss functions to enforce isotropic constrain and perform outlier rejection of global illumination effects. SPLINE-Net is verified to outperform existing methods for photometric stereo of general BRDFs by using only ten images of different lights instead of using nearly one hundred images.

연구 동기 및 목표

• 희소 광학 스테레오 문제를 일반 BRDF에 대해 단지 소수의 입력 이미지로 해결하여 데이터 캡처 및 캘리브레이션 부담을 줄이기.
• 광학 스테레오에서 상호 반사 및 그림자와 같은 전반적 조명 효과의 과제를 해결하기.
• 희소 조명 조건 하에서 보간된 밀도 높은 조명 관측치를 생성함으로써 법선 추정 정확도 향상하기.
• 특히 등방성 및 외곽선 강건성과 같은 물리적 사전 지식을 새로운 손실 함수를 통해 딥 러닝 기반 광학 스테레오에 통합하기.

제안 방법

• SPLINE-Net은 두 개의 하위 네트워크로 구성된다: 입력 희소 관측 지도에서 밀도 높은 관측 지도를 학습 가능한 표현을 통해 생성하는 조명 보간 네트워크(LI-Net).
• 생성된 밀도 높은 관측 지도에서 표면 법선을 추정하는 법선 추정 네트워크(NE-Net).
• 대칭 손실 함수는 표면 법선 방향에 대해 픽셀 값이 대칭적으로 분포하도록 제약을 두어 등방성을 강제한다.
• 비대칭 손실 함수는 대칭적으로 분포된 픽셀 간의 차이가 0이 아니도록 제약을 두어 전반적 조명 효과를 모델링하며, 이로써 외곽선 거부가 가능해진다.
• 두 네트워크는 두 손실 함수를 함께 최적화하여 일반화 능력과 실제 조명 아티팩트에 대한 강건성을 향상시킨다.
• 관측 지도는 밀도 높은 조명 표현으로 사용되며, 이는 희소 입력을 손상된 이미지로 간주하고 보간할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 러닝을 사용하여 단지 10장의 희소 입력 이미지에서 밀도 높은 조명 관측치를 생성함으로써 광학 스테레오 정확도를 향상시킬 수 있는가?
• RQ2 반사 특성의 등방성은 딥 러닝 프레임워크에서 어떻게 명시적으로 모델링될 수 있으며, 이는 일반 BRDF에 대한 법선 추정 정확도 향상에 어떻게 기여하는가?
• RQ3 그림자 및 상호 반사와 같은 전반적 조명 효과는 기울기 가능 손실 함수를 통해 정규 추정 과정에서 효과적으로 거부될 수 있는가?
• RQ4 희소 입력에서의 조명 보간과 법선 추정을 동시에 최적화하는 것이 희소 입력에서의 엔드 투 엔드 회귀보다 성능이 뛰어나지는가?

주요 결과

• SPLINE-Net은 단지 10장의 입력 이미지로도 기존에 거의 100장의 이미지가 필요한 방법들보다 더 뛰어난 성능을 보이며 법선 추정 분야에서 최신 기술 수준을 달성한다.
• 대칭 손실은 등방성을 강제함으로써 성능을 크게 향상시키며, 법선 추정의 각도 오차를 감소시킨다.
• 비대칭 손실은 전반적 조명 효과에 대한 강건성을 향상시켜 상호 반사 및 그림자가 있는 영역에서 오차를 감소시킨다.
• 절단 실험 결과, LI-Net이 직접 회귀보다 일반화 능력을 향상시키며, 두 손실 함수 모두 더 높은 정확도에 기여함을 확인하였다.
• 시각적 비교 결과, 입력에 외곽선으로 인한 어두운 반점이 포함되어 있어도, SPLINE-Net은 베이스라인에 비해 더 매끄럽고 정확한 관측 지도와 법선 지도를 생성한다.
• 비록 비라운드먼트 표면에서 뛰어난 성능을 보였지만, 딥 러닝 기반 방법인 SPLINE-Net은 여전히 확산 dominant 표면에서 성능이 열등하여 현재 접근 방식의 한계를 보여준다.