[논문 리뷰] Deep Learning Methods for Calibrated Photometric Stereo and Beyond

Yakun Ju, Kin‐Man Lam외 4명|arXiv (Cornell University)|2022. 12. 16.

Advanced Vision and Imaging인용 수 13

한 줄 요약

이 논문은 딥 러닝 기반 캘리브레이션된 광학적 스테레오 방법에 대한 종합적인 리뷰를 제공하며, 입력 처리, 감독 방식, 네트워크 아키텍처 기준으로 분류한다. 딥 러닝 모델이 비라운드 반사 표면에서 표면 법선 추정에서 전통적인 비학습 기반 방법보다 뚜렷이 뛰어난 성능을 보임을 입증하며, 최근의 모델들인 UniPS와 SDM-UniPS는 보편적인 조명 처리와 고해상도 재구성 가능성을 제공한다.

ABSTRACT

Photometric stereo recovers the surface normals of an object from multiple images with varying shading cues, i.e., modeling the relationship between surface orientation and intensity at each pixel. Photometric stereo prevails in superior per-pixel resolution and fine reconstruction details. However, it is a complicated problem because of the non-linear relationship caused by non-Lambertian surface reflectance. Recently, various deep learning methods have shown a powerful ability in the context of photometric stereo against non-Lambertian surfaces. This paper provides a comprehensive review of existing deep learning-based calibrated photometric stereo methods. We first analyze these methods from different perspectives, including input processing, supervision, and network architecture. We summarize the performance of deep learning photometric stereo models on the most widely-used benchmark data set. This demonstrates the advanced performance of deep learning-based photometric stereo methods. Finally, we give suggestions and propose future research trends based on the limitations of existing models.

연구 동기 및 목표

• 입력 처리, 감독 방식, 네트워크 아키텍처 기반으로 딥 러닝 기반 캘리브레이션된 광학적 스테레오 방법을 체계적으로 분류하고 분석하는 것.
• 다양한 벤치마크에서 30개 이상의 딥 러닝 모델 성능을 평가하여 기존 비학습 기반 방법 대비 우수성을 입증하는 것.
• 현재 모델의 일반화 한계, 특히 비캘리브레이션된 조명 조건과 실제 환경 조건에 대한 일반화 능력에 대한 분석.
• 향후 연구 방향 제안: 보다 향상된 보편적 조명 표현, 신경 렌더링(예: NeRF)과의 통합, 퍼픽셀/전체 픽셀 하이브리드 아키텍처 개선

제안 방법

• 입력 처리 전략 기반으로 퍼픽셀 및 전체 픽셀 전략으로 딥 러닝 광학적 스테레오 방법을 분류하며, 강도 맵 또는 이미지 패치 처리 방식을 기반으로 한다.
• 감독 전략 분석: 진짜 표면 법선을 이용한 감독 학습과 자기지도 또는 약한 감독 학습 접근 방식.
• U-Net, 주목기반 메커니즘(예: 자기주목) 및 국소 및 전역 특징 학습을 결합한 하이브리드 모델을 포함한 주요 네트워크 아키텍처 검토.
• DiLiGenT와 같은 표준 벤치마크를 사용해 성능 평가하며, 강한 반사 및 그림자 존재 시 비라운드 반사 표면에서의 성능 평가.
• 최근의 진전인 UniPS 분석: 물리적 BRDF 모델에 의존하지 않고 보편적인 조명 표현을 학습함으로써 다양한 조명 조건에 대한 강건성 확보.
• NeRF와 같은 신경 렌더링 기법 통합을 통해 다중 시점 광학적 스테레오에서 오차 누적 감소 및 음영 영역 처리 개선 가능

실험 결과

연구 질문

• RQ1 퍼픽셀 대비 전체 픽셀 입력 처리 전략이 딥 러닝 기반 광학적 스테레오 모델의 성능 및 일반화 능력에 미치는 영향은 무엇인가?
• RQ2 비라운드 반사 거칠기 조건 하에서 표면 법선 추정에서 최첨단 성능을 달성하는 데 기여하는 주요 아키텍처 및 감독 설계 선택 사항은 무엇인가?
• RQ3 딥 러닝 모델이 색조, 근접 조명, 공간적으로 변화하는 조명 조건을 포함한 비캘리브레이션된 조명 조건으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 NeRF와 같은 신경 렌더링 기법을 광학적 스테레오와 효과적으로 통합하여 3D 재구성 품질과 강건성을 향상시킬 수 있는가?
• RQ5 현재 딥 러닝 기반 광학적 스테레오 모델의 주요 한계는 무엇이며, 더 나은 특징 추출 및 사전 지식 통합을 통해 어떻게 보완할 수 있는가?

주요 결과

• 딥 러닝 기반 광학적 스테레오 모델은 비라운드 반사 표면에서 표면 법선 추정에서 기존 비학습 기반 방법보다 뚜렷이 뛰어난 성능을 보이며, 특히 반사 및 그림자 존재 시 복잡한 반사 거칠기 조건에서 유의미한 성능 향상을 보인다.
• DPSN 및 후속 아키텍처는 다중 조명 강도 관측치에서 표면 법선으로의 민첩하고 데이터 기반의 매핑을 학습함으로써 수작업으로 설계된 BRDF 모델의 한계를 극복하며 뛰어난 성능을 보인다.
• UniPS의 도입으로 물리적 BRDF 모델에 의존하지 않고 보편적인 조명 표현을 학습함으로써 평행, 공간적으로 변화하는, 근접, 실외 조명 조건 전반에서 강건한 성능을 달성할 수 있게 되었다.
• SDM-UniPS는 표면 점 간의 비국소적 상호작용을 모델링함으로써 확장 가능한 고해상도 및 마스크 없는 재구성을 달성하며, 더 높은 강건성과 세부 사항 보존 능력을 입증하였다.
• NeRF 기반 다중 시점 광학적 스테레오 방법은 전통적인 다단계 접근 방식 대비 오차 누적 감소를 기록했으며, 신경 장면 표현을 통해 가시하지 않은 3D 영역 복원이 가능했다.
• 다른 성과에도 불구하고 계산 효율성, 새로운 물체에 대한 재학습 오버헤드, 미세한 조명 변화 처리 등 여전히 도전 과제 남아 있으며, 더 효과적인 보편적 조명 특징 추출이 필요함을 시사한다.