[논문 리뷰] Photometric Stereo in Participating Media Considering Shape-Dependent Forward Scatter

Yuki Fujimura, Masaaki Iiyama외 2명|arXiv (Cornell University)|2018. 04. 09.

Computer Graphics and Visualization Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 neblina 또는 혼탁한 물과 같은 참조 매체에서 3D 형상 복원을 위한 광학적 스테레오 방법을 제안하며, 공간적으로 변화하는 분석적 커널을 사용하여 형상에 따라 달라지는 표면-카메라 전방 산산조각 허브를 모델링한다. 대규모 밀도 있는 산산조각 행렬을 커널 수렴을 통해 희소 행렬로 근사화함으로써, 전방 산산조각을 반복적으로 제거할 수 있게 되어, 이는 이전의 후방 산산조각만 고려하는 모델에 비해 극도로 혼탁한 환경에서 훨씬 높은 복원 정확도를 달성한다.

ABSTRACT

Images captured in participating media such as murky water, fog, or smoke are degraded by scattered light. Thus, the use of traditional three-dimensional (3D) reconstruction techniques in such environments is difficult. In this paper, we propose a photometric stereo method for participating media. The proposed method differs from previous studies with respect to modeling shape-dependent forward scatter. In the proposed model, forward scatter is described as an analytical form using lookup tables and is represented by spatially-variant kernels. We also propose an approximation of a large-scale dense matrix as a sparse matrix, which enables the removal of forward scatter. Experiments with real and synthesized data demonstrate that the proposed method improves 3D reconstruction in participating media.

연구 동기 및 목표

• 빛 산산조각이 영상 품질을 떨어뜨리는 참조 매체(예: neblina, 연기, 혼탁한 물)에서 3D 형상 복원 문제를 해결하기 위해.
• 이전 방법들이 공간적으로 불변 또는 평면 근사화를 가정하는 데서 비롯되는 한계를 극복하기 위해, 물체의 局부 및 전반적 형상에 따라 달라지는 전방 산산조각을 모델링하기 위해.
• 전통적인 광학적 스테레오가 영상 흐림과 신호 열화로 실패하는 극도로 혼탁한 매체에서 전방 산산조각을 효과적으로 제거하기 위해.
• 형상에 따라 달라지는 전방 산산조각으로 인해 발생하는 이동 불변성, 대규모 밀도 있는 산산조각 행렬을 다룰 수 있는 희소 행렬 근사 기법을 개발하기 위해.
• 형상과 산산조각 추정치를 함께 최적화하는 반복적 프로세스를 통해 정확한 3D 복원을 달성하기 위해.

제안 방법

• 형상 의존성 전방 산산조각을 2차원 룩업 테이블을 사용하여 단일 산산조각의 분석적 형태로 모델링하여 표면-카메라 관계를 반영한다.
• 전방 산산조각을 공간적으로 변화하는 커널 행렬로 공식화하여, 물체 기하학이 산산조각 분포에 미치는 영향을 반영한다.
• 밀도 있는 커널 행렬의 계산 불가능성을 해결하기 위해, 먼 표면 점들 간의 커널 수렴을 이용하여 이를 희소 행렬로 근사화한다.
• 전방 산산조각 제거와 3D 형상 복원을 번갈아가며 수행하는 반복 알고리즘을 통해 형상과 산산조각 간 상호 의존성을 해소한다.
• 노이즈 감소를 위해 캘리브레이션된 강도를 가진 여덟 개의 LED 조명원을 사용하고 평균화된 영상을 촬영하여 복원에 대한 견고한 입력을 확보한다.
• 탱크에 물을 채운 상태에서 카메라 캘리브레이션을 수행하여 탱크 벽면에서의 굴절을 고려함으로써 기하학적 정확도를 확보한다.

실험 결과

연구 질문

• RQ1 참조 매체에서의 전방 산산조각은 공간적으로 불변인 흐림이 아니라, 형상에 따라 달라지는 공간적으로 변화하는 현상으로 정확히 모델링될 수 있는가?
• RQ2 형상에 따라 달라지는 전방 산산조각을 나타내는 대규모 밀도 있는 행렬을 실용적인 계산에 효율적으로 근사화할 수 있는가?
• RQ3 형상과 산산조각을 함께 최적화하는 반복적 프로세스가 극도로 혼탁한 매체에서 전방 산산조각을 효과적으로 제거할 수 있는가?
• RQ4 후방 산산조각만 고려하는 방법에 비해 전방 산산조각을 모델링하는 것이 3D 복원 정확도를 향상시키는가?
• RQ5 제안된 방법의 수렴 특성과 다양한 혼탁도 수준 및 복잡한 물체 형상에서의 강인성은 어떠한가?

주요 결과

• 합성 데이터를 사용한 쉘 물체에서 제안된 방법은 평균 각도 오차 1.29°를 기록하여 높은 복원 정확도를 입증하였다.
• 120L의 물에 30mL의 우유를 넣은 실제 데이터에서 제안된 방법은 평균 각도 오차를 1.30°로 줄였으며, 이는 후방 산산조각 전용 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 후방 산산조각 전용 방법 [22]은 구체에서 평균 각도 오차 19.48°를 보였지만, 제안된 방법은 다섯 번의 반복 후 3.66°로 수렴하였다.
• 제안된 방법은 고도의 혼탁도(30mL 우유)에서도 쉘 및 테트라포드와 같은 복잡한 물체의 미세한 국소 기울기를 성공적으로 복원하였고, 반면 후방 산산조각 전용 방법은 형태가 평탄하게 보였다.
• 5회 이내의 반복 수렴을 통해 복잡한 형상 의존성 산산조각을 고려한 안정적이고 효율적인 최적화가 가능함을 보였다.
• 희소 행렬 근사화 기법을 통해 이전에는 계산이 불가능한 밀도 있는 산산조각 행렬을 실용적으로 계산할 수 있게 되어, 방법의 확장성이 보장되었다.