[논문 리뷰] A CNN Based Approach for the Near-Field Photometric Stereo Problem

Fotios Logothetis, Ignas Budvytis외 2명|Cambridge University Engineering Department Publications Database|2020. 09. 12.

Optical measurement and interference techniques참고 문헌 1인용 수 4

한 줄 요약

이 논문은 반사계수의 반사, 원형 빛 감쇠, 시점 기하학, 그리고 반사성 반사와 같은 현실적인 조명 효과를 다루는 최초의 CNN 기반 근접장 광학적 스테레오 방법을 제안한다. 각 픽셀에 대한 CNN을 통해 표면 법선을 반복적으로 추정하고, 수치 적분을 통해 깊이를 보정함으로써, 기존 방법에 비해 합성 데이터에서 평균 각도 오차를 6° 이상 감소시켜 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Reconstructing the 3D shape of an object using several images under different light sources is a very challenging task, especially when realistic assumptions such as light propagation and attenuation, perspective viewing geometry and specular light reflection are considered. Many of works tackling Photometric Stereo (PS) problems often relax most of the aforementioned assumptions. Especially they ignore specular reflection and global illumination effects. In this work, we propose the first CNN based approach capable of handling these realistic assumptions in Photometric Stereo. We leverage recent improvements of deep neural networks for far-field Photometric Stereo and adapt them to near field setup. We achieve this by employing an iterative procedure for shape estimation which has two main steps. Firstly we train a per-pixel CNN to predict surface normals from reflectance samples. Secondly, we compute the depth by integrating the normal field in order to iteratively estimate light directions and attenuation which is used to compensate the input images to compute reflectance samples for the next iteration. To the best of our knowledge this is the first near-field framework which is able to accurately predict 3D shape from highly specular objects. Our method outperforms competing state-of-the-art near-field Photometric Stereo approaches on both synthetic and real experiments.

연구 동기 및 목표

• 근접장 광학적 스테레오에서 시점 기하학, 점광원, 반사성 반사와 같은 현실적인 물리적 가정을 고려한 3차원 형태 재구성 문제를 해결하기 위해.
• 기존 방법들이 근접장 설정에서 비확산 반사 및 빛 감쇠를 단순화하거나 忽시하는 한계를 극복하기 위해.
• 반복적 깊이 추정을 통해 빛 감쇠를 보완함으로써 근접장 환경에서 딥 러닝 기반 법선 예측을 가능하게 하기 위해.
• 학습 중 데이터 증강을 통해 그림자 및 상호 반사와 같은 전역 조명 효과에 대한 강건성을 향상시키기 위해.
• 최신 기술 수준의 최적화 기반 및 CNN 기반 접근법에 비해 합성 및 실제 근접장 데이터셋 모두에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 입력 이미지에서 유도된 반사 샘플을 빛 감쇠 보정 후, 각 픽셀에 대한 CNN을 학습시켜 표면 법선을 예측한다.
• 반복적 절차를 적용한다: 첫째, 보정된 반사 샘플에서 법선을 예측하고, 둘째, 법선을 통합하여 깊이를 업데이트하고 다음 반복을 위한 빛 방향/감쇠 추정치를 개선한다.
• 초기 깊이 추정치를 사용해 빛 감쇠를 보정함으로써, 근접장 환경에서 원거리 장 방식의 CNN을 활용할 수 있도록 한다.
• 학습 데이터는 가상의 근접장 촬영 설정을 사용해 합성되며, 분포 이탈을 줄이기 위해 깊이 변화와 같은 기하학적 데이터 증강 기법을 허용한다.
• 관측 지도는 BRDF 샘플(MERL 및 Disney BSDF)에서 유도되며, 그림자 및 자기 반사 효과를 추가로 증강하여 일반화 성능을 향상시킨다.
• 법선 장의 수치 적분을 통해 깊이를 재구성하고, 이 과정을 반복하여 빛 방향 및 감쇠 파rameter를 개선한다.

실험 결과

연구 질문

• RQ1 딥 CNN이 현실적인 조명 및 재질 효과를 다루며 근접장 광학적 스테레오 문제에 효과적으로 적용될 수 있는가?
• RQ2 근접장 설정에서의 빛 감쇠 및 시점 효과를 어떻게 보정하여 원거리 장 방식의 CNN 아키텍처를 활용할 수 있는가?
• RQ3 데이터 증강 전략이 근접장 PS에서 그림자 및 상호 반사와 같은 복잡한 전역 조명 효과에 대한 일반화 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 단일 스텝 CNN 추론에 비해 깊이 및 빛 파rameter의 반복 보정이 재구성 정확도를 향상시키는가?
• RQ5 특히 고반사 물체에서 최신 기술 수준의 최적화 기반 방법에 비해 CNN 기반 접근법이 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 이전 최신 기술 수준 [Quéau et al., 2018] 대비 합성 데이터셋에서 평균 각도 오차를 6° 이상 감소시켰다.
• 이 방법은 합성 및 실제 근접장 데이터셋 모두에서 최적화 기반 접근법 [Logothetis et al., 2017; Quéau et al., 2018] 과 원거리 장 CNN의 단순 적응 방식을 모두 능가한다.
• 정성적 결과에서는 경쟁 방법들과 달리 반사성 반사 부위(예: 코끼리 중앙)나 그림자 영역(예: Frog의 배)에서 눈에 띄는 변형이 없음을 확인했다.
• 실제 BRDF(MERL 및 Disney)의 사용과 그림자 및 자기 반사 효과의 증강이 전역 조명 효과에 대한 강건성을 크게 향상시켰다.
• 빛 감쇠 보정 없이 원거리 장 CNN을 근접장 이미지에 단순 적용할 경우 심각한 왜곡과 높은 MAE가 발생함으로써, 반복적 보정 프레임워크의 必要성을 입증했다.
• 법선의 반복적 통합은 빛 방향 및 감쇠 추정치를 향상시켜, 반복 과정 전반에 걸쳐 법선 예측 정확도가 향상됨을 보였다.