[논문 리뷰] LUCES: A Dataset for Near-Field Point Light Source Photometric Stereo

Roberto Mecca, Fotios Logothetis외 2명|arXiv (Cornell University)|2021. 04. 27.

Optical measurement and interference techniques인용 수 10

한 줄 요약

이 논문은 14종의 다양한 재질을 가진 물체를 가까운 거리의 LED 조명 조건에서 촬영한 실세계 near-field point light source photometric stereo용 데이터셋인 LUCES를 소개한다. ground-truth 노말맵과 디pth맵을 사용하여 최신 near-field PS 기법들을 평가한 결과, 딥러닝 기반 접근법이 고전적 최적화 기법보다 특히 반사성 및 금속성 재질에서 뛰어난 성능을 보였으며, 모든 방법에서 가장 어려운 영역은 에지 영역임을 확인하였다.

ABSTRACT

Three-dimensional reconstruction of objects from shading information is a challenging task in computer vision. As most of the approaches facing the Photometric Stereo problem use simplified far-field assumptions, real-world scenarios have essentially more complex physical effects that need to be handled for accurately reconstructing the 3D shape. An increasing number of methods have been proposed to address the problem when point light sources are assumed to be nearby the target object. The proximity of the light sources complicates the modeling of the image formation as the light behaviour requires non-linear parameterisation to describe its propagation and attenuation. To understand the capability of the approaches dealing with this near-field scenario, the literature till now has used synthetically rendered photometric images or minimal and very customised real-world data. In order to fill the gap in evaluating near-field photometric stereo methods, we introduce LUCES the first real-world 'dataset for near-fieLd point light soUrCe photomEtric Stereo' of 14 objects of a varying of materials. A device counting 52 LEDs has been designed to lit each object positioned 10 to 30 centimeters away from the camera. Together with the raw images, in order to evaluate the 3D reconstructions, the dataset includes both normal and depth maps for comparing different features of the retrieved 3D geometry. Furthermore, we evaluate the performance of the latest near-field Photometric Stereo algorithms on the proposed dataset to assess the SOTA method with respect to actual close range effects and object materials.

연구 동기 및 목표

• 핸드헬드 및 내 endoscopic 장치 등 실용적 응용이 늘어나면서 중요성이 커지는 near-field photometric stereo 기법 평가를 위한 표준화된 실세계 데이터셋 부족 문제를 해결하기 위해.
• 빛 감쇠, 시점 왜곡, 비 Lambertain 재질 등의 복잡한 물리적 효과를 반영한 near-field PS를 위한 종합적인 벤치마크 제공하기 위해.
• 다양한 재질(확산, 금속성, 반사성 표면 포함)을 가진 실세계 데이터에서 최근 near-field PS 알고리즘의 성능 평가하기 위해.
• 노말맵과 디프스맵을 ground-truth로 사용하여 공정하고 재현 가능한 평가 프로토콜 수립하기 위해, 특히 디프스맵이 노말맵보다 더 신뢰할 수 있는 평가 지표임을 강조하기 위해.
• 특히 고주파 영역 및 불연속성 근처에서의 3D 복원 과제를 규명하고, 향후 연구가 더 나은 에지 처리 기법으로 향하도록 이끌기 위해.

제안 방법

• 52개의 LED를 카메라에서 10–30cm 거리에 배치하여, 14종의 실물 물체를 다양한 각도에서 조명하여 near-field point light source를 시뮬레이션하였다.
• 정밀 캘리브레이션을 거친 카메라가 통제된 조명 조건에서 포토메트릭 영상을 촬영하였으며, 각 촬영에 대해 정확한 조명 및 카메라 캘리브레이션 파rameter를 기록하였다.
• 고정밀 GOM 레이저 스캐닝을 통해 각 물체의 ground-truth 3D 기하학적 구조를 확보하였으며, 노말맵과 디프스맵을 모두 제공하였다.
• 평가 프레임워크는 고전적 최적화 기반 방법과 딥러닝 기반 방법을 포함한 여러 최신 near-field PS 알고리즘의 노말맵 및 디프스맵 오차 지표를 비교하였다.
• 표준 평가 지표인 노말맵 및 디프스맵의 평균 절대 오차(MAE)를 적용하고, 다양한 재질과 물체 기하학적 형태에서의 복원 오차를 시각화하였다.
• 복원 품질의 정성적 평가를 수행하였으며, 특히 에지 영역과 고주파 세부 정보에 초점을 맞추었고, 반사 왜곡과 영상 전처리가 최종 결과에 미치는 영향을 논의하였다.

실험 결과

연구 질문

• RQ1 다양한 재질을 가진 실세계 데이터에서 가까운 거리 조명 조건 하에서 현재의 near-field photometric stereo 알고리즘이 어떻게 성능을 내는가?
• RQ2 고전적 최적화 기반 방법과 딥러닝 기반 접근법 간의 성능 상대적 비교는 near-field 포토메트릭 영상에서 3D 기하학적 구조를 복원할 때 어떻게 나타나는가?
• RQ3 반사성 및 금속성 반사 특성 등의 재질 특성이 near-field PS에서 3D 복원 정확도에 어느 정도 영향을 미치는가?
• RQ4 레이저 스캐닝에서 유래한 ground-truth 노말맵의 잠재적 노이즈를 고려할 때, 노말맵과 디프스맵 중 어느 것이 near-field photometric stereo 평가에 더 신뢰할 수 있는 지표인가?
• RQ5 기존 방법의 주요 실패 원인은 무엇이며, 특히 날카운 경계나 고도로 복잡한 기하학적 구조 영역에서 어떻게 나타나는가?

주요 결과

• Logothetis 등(2020a)의 딥러닝 기반 방법이 대부분의 물체에서 가장 뛰어난 전반적 성능을 보였으며, 특히 복잡한 재질 처리와 노말 오차 감소에서 뛰어난 성능을 보였다.
• Santo 등(2020b)의 방법은 패치 기반 네트워크 아키텍처 덕분에 반사성 및 금속성 재질(예: Die, Cup, Bell)에서 다른 방법보다 뛰어난 성능을 보였다.
• far-field 가정 기반 방법(Ikehata, 2018)은 예상대로 심각한 실패를 보였는데, 이는 near-field 빛 감쇠 및 시점 효과를 모델링하지 못하기 때문이다.
• 최고 성능을 보이는 방법들조차도 Jar, Owl, Cup 물체의 날카운 에지 및 불연속성과 같은 고주파 영역 복원에 어려움을 겪었다.
• 노말맵 예측은 디프스맵 예측보다 노이즈가 더 심했으며, 이는 레이저 스캐닝에서 유래한 ground-truth 노말맵에 내재된 정확도 오류가 존재할 수 있음을 시사하며, 디프스맵이 더 신뢰할 수 있는 평가 지표임을 강조한다.
• 연구에서 재질의 반사성 특성이 딥러닝 모델의 성능을 크게 떨어뜨리지 않는 것으로 관찰되었으며, 이는 재질 유형에 관계없이 항상 볼록형이고 자기 반사가 없는 영역을 정확히 복원한다는 점에서 일관성 있는 성능을 보였다.