[논문 리뷰] Non-Lambertian Surface Shape and Reflectance Reconstruction Using Concentric Multi-Spectral Light Field

Mingyuan Zhou, Yu Ji외 4명|arXiv (Cornell University)|2019. 04. 09.

Advanced Vision and Imaging참고 문헌 41인용 수 4

한 줄 요약

이 논문은 표면 사전 지식 없이 비라운드 반사 표면의 형상과 다중 스펙트럼 반사율을 단일 촬영으로 복원할 수 있는 동심 다중 스펙트럼 라이트필드(CMSLF) 시스템을 제안한다. 동심 고리에 배열된 스펙트럼 다중화 카메라와 조명을 활용하여, 다양한 시야에서의 고유한 반사광 반사 패턴을 이용해 물리 기반의 이색적 페인 모델을 S-카메라 표현에 적용함으로써 깊이 추정과 확산 및 반사광 성분 간 분리를 정확하게 수행한다. 이로 인해 합성 및 실제 환경에서 모두 정규 벡터 오차가 2° 이하이며 고해상도의 반사율 재구성 성능을 달성한다.

ABSTRACT

Recovering the shape and reflectance of non-Lambertian surfaces remains a challenging problem in computer vision since the view-dependent appearance invalidates traditional photo-consistency constraint. In this paper, we introduce a novel concentric multi-spectral light field (CMSLF) design that is able to recover the shape and reflectance of surfaces with arbitrary material in one shot. Our CMSLF system consists of an array of cameras arranged on concentric circles where each ring captures a specific spectrum. Coupled with a multi-spectral ring light, we are able to sample viewpoint and lighting variations in a single shot via spectral multiplexing. We further show that such concentric camera/light setting results in a unique pattern of specular changes across views that enables robust depth estimation. We formulate a physical-based reflectance model on CMSLF to estimate depth and multi-spectral reflectance map without imposing any surface prior. Extensive synthetic and real experiments show that our method outperforms state-of-the-art light field-based techniques, especially in non-Lambertian scenes.

연구 동기 및 목표

• 기존의 사진 일致성 제약 조건이 무너지는 시야 의존적 외관으로 인해 비라운드 표면의 형상과 반사율을 복원하는 데 도전하는 문제를 해결한다.
• 기존의 라이트필드 방법들이 비라운드 환경에서 표면의 매끄러움 또는 다항식 형상 등의 사전 지식이 필요로 하는 한계를 극복한다.
• 새로운 하드웨어 설계를 통해 임의의 재료에 대해 단일 촬영으로 고정밀도의 3차원 형상과 다중 스펙트럼 반사율 복원을 가능하게 한다.
• 동심 카메라/조명 구성에서의 다양한 시야 간 고유한 반사광 변화 패턴을 활용하여 표면의 매끄러움이나 형상에 대한 사전 가정 없이도 안정적인 깊이 추정을 가능하게 한다.

제안 방법

• 카메라와 고리형 조명을 동심 원형 궤도에 배열한 동심 다중 스펙트럼 라이트필드(CMSLF) 시스템을 설계하여, 각각의 카메라가 특정 협대역 스펙트럼에서 촬영함으로써 시야 및 조명 방향의 스펙트럼 다중화를 실현한다.
• 장면의 점들에서 반사된 빛의 각도 분포를 모델링하기 위해 표면 카메라(S-Cam) 표현을 사용하여 물리 기반의 반사율 모델링을 가능하게 한다.
• S-Cam 데이터에 기반한 이색적 페인 반사율 모델을 제안하여, 확산 및 반사광 성분의 고유한 스펙트럼 및 각도 특성을 활용해 이를 효과적으로 분리한다.
• 동심 구조에서의 고유한 반사광 변화 패턴을 이용해 깊이 추정을 시작함으로써 반사광 강조 영역을 안정적으로 분리할 수 있다.
• 식별된 특성들을 기반으로 모든 표면 점들에서 반사광 성분을 제거하여, 복합 정규 벡터 및 반사율 추정을 위한 반사광이 제거된 S-Cam 데이터를 확보한다.
• 반사광이 제거된 S-Cam 데이터를 이용해 표면 정규 벡터와 다중 스펙트럼 반사율 계수를 반복적으로 보정함으로써 복원 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 동심 다중 스펙트럼 라이트필드 설계가 비라운드 표면 형상과 반사율의 단일 촬영, 사전 지식이 없는 복원을 가능하게 하는가?
• RQ2 동심 카메라 구성에서의 다양한 시야 간 고유한 반사광 변화 패턴을 어떻게 활용하여 비라운드 환경에서의 안정적인 깊이 추정을 달성할 수 있는가?
• RQ3 S-Cam 표현에 기반한 물리 기반 반사율 모델이 표면 사전 지식 없이도 확산 및 반사광 성분을 효과적으로 분리할 수 있는가?
• RQ4 협대역 필터를 통한 스펙트럼 다중화가 한 번의 촬영에서 간섭 없이 12개의 시야 및 12개의 조명 방향을 효과적으로 샘플링할 수 있는가?

주요 결과

• 제안된 CMSLF 시스템은 임의의 재료를 가진 합성 구면 환경에서 정규 벡터 오차가 2° 이하로 나타나 기하학적 정확도가 매우 높음을 입증한다.
• 불자 머리 및 자다웨어와 같은 복잡한 환경에서는 최대 정규 벡터 오차가 3° 이하로 나타나 복잡한 기하학적 구조에 대해 뛰어난 강건성을 보인다.
• 알고리즘이 고주파 표면 세부 정보와 스펙트럼 반사율 지도를 성공적으로 복원하며, 비라운드 복원 분야에서 최신 기술보다 뛰어난 성능을 보인다.
• 협대역 필터를 통한 스펙트럼 다중화로 단일 촬영에서 12개의 시야 및 12개의 조명 방향을 간섭 없이 샘플링할 수 있어 효율적인 단일 촬영 촬영을 가능하게 한다.
• 동심 구조에서의 고유한 반사광 변화 패턴을 통해 표면의 매끄러움이나 형상에 대한 사전 가정 없이도 신뢰할 수 있는 깊이 추정과 반사광 성분 제거가 가능하다.
• 실제 환경 실험을 통해 플라스틱 및 세라믹과 같은 다양한 재료에서 성능을 검증하였지만, 큰 가림이나 그림자로 인해 스펙트럼 샘플링이 부족할 경우 성능 저하가 발생한다.