[논문 리뷰] Better Together: Joint Reasoning for Non-rigid 3D Reconstruction with Specularities and Shading

Qi Liu-Yin, Rui Yu외 3명|arXiv (Cornell University)|2017. 08. 04.

Advanced Vision and Imaging참고 문헌 2인용 수 7

한 줄 요약

이 논문은 단일 RGB 영상에서 비정형 3D 재구성, 형태-빛에서의 형태(SfS), 그리고 반사광 모델링을 종합적으로 최적화하는 통합 프레임워크를 제안한다. 기존의 파이프라인 방식에 비해 재구성 정확도와 강인성을 크게 향상시킨다. 반사율, 미세한 조명, 반사광을 하나의 최적화에 통합함으로써, 도전적인 조명 조건과 동적인 변형을 겪는 실제 및 합성 영상에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We demonstrate the use of shape-from-shading (SfS) to improve both the quality and the robustness of 3D reconstruction of dynamic objects captured by a single camera. Unlike previous approaches that made use of SfS as a post-processing step, we offer a principled integrated approach that solves dynamic object tracking and reconstruction and SfS as a single unified cost function. Moving beyond Lambertian S f S , we propose a general approach that models both specularities and shading while simultaneously tracking and reconstructing general dynamic objects. Solving these problems jointly prevents the kinds of tracking failures which can not be recovered from by pipeline approaches. We show state-of-the-art results both qualitatively and quantitatively.

연구 동기 및 목표

• 형태-빛에서의 형태(SfS)를 후처리 단계로 적용하는 파이프라인 방식의 한계를 해결하기 위해, 이는 일반적으로 동적인 비라운드 반사율 표면에서 추적 오차가 누적될 때 실패한다.
• 실제 조명 조건에서 조도 변화와 반사광이 색상 기반 추적 성능을 심각하게 떨어뜨리는 상황에서도 단일 카메라 비정형 3D 재구성의 강인성과 품질을 향상시키기 위해 노력한다.
• 통합 최적화 프레임워크 내에서 미세한 조명과 반사광을 동시에 모델링하여, 얼굴 표정과 같은 세밀한 의미적 세부 사항을 더 잘 포착한다.
• 물체 운동이 조명 변화로 인해 표면 외관이 변할 경우 일반적인 방법에서 흔히 발생하는 체계적 추적 실패를 방지하기 위해 종합적 추론을 수행한다.
• 깊이 또는 다중 카메라 데이터가 없더라도, 조도를 형태, 반사율, 조도 파rameter의 함수로 모델링함으로써 RGB 전용 입력에서 신뢰할 수 있는 재구성을 가능하게 한다.

제안 방법

• 요소 분해 기반 접근을 사용하여, 비정형 구조-운동(SfM), 형태-빛에서의 형태(SfS), 반사광 모델링을 종합적으로 최적화하는 통합 비용 함수를 수립한다.
• 이미지 강도를 반사율, 미세한 조명(구면 조화함수로 모델링), 반사광 성분으로 분해함으로써, 인간 피부와 같은 비라운드 반사율 표면을 정확히 모델링할 수 있다.
• 반사율과 조명의 곱을 모델링하는 광학적 항과, 표면 법선과 조도 방향에 기반한 반사광 형성에 대한 반사광 항을 통합한다.
• 전체 변화량과 ARAP(가장 유사한 강성 유지) 정규화를 사용하여 재구성된 3D 형태의 공간적 부드러움과 시간적 일관성을 강화한다.
• 가능한 경우(예: RGB-D 시퀀스에서) 깊이 맵을 추가 제약 조건으로 통합하고, 노이즈가 있는 깊이 마스크와의 일치를 위해 데이터 적합성 항을 사용한다.
• 자기 반복 최적화 기법을 사용하여 자세, 3D 형태, 반사율, 조도 파rameter를 동시에 최적화함으로써 수렴성과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비정형 SfM, SfS, 반사광 모델링을 종합적으로 최적화하는 것이 순차적 또는 후처리 SfS 방법에 비해 재구성 품질과 추적 강인성에서 뚜렷한 향상을 이룰 수 있는가?
• RQ2 미세한 조명과 반사광을 함께 모델링함으로써, 동적인 비라운드 반사율 표면에서 얼굴 표정과 같은 세밀한 의미적 세부 사항을 얼마나 잘 복원할 수 있는가?
• RQ3 실제 시퀀스에서 조도 변화와 복잡한 표면 반사율이 존재할 경우, 통합 프레임워크가 추적 오차를 얼마나 줄일 수 있는가?
• RQ4 깊이 또는 다중 카메라 데이터 없이도 RGB 전용 입력에서 고해상도 재구성을 달성할 수 있는가, 특히 도전적인 조도 조건에서?
• RQ5 초기 템플릿이나 깊이 맵의 노이즈에 대해 이 방법은 얼마나 민감한가, 그리고 종합 최적화가 이러한 왜곡 상황에서 안정성을 향상시키는가?

주요 결과

• 스테레오 설정으로 촬영한 실제 시퀀스에서 제안된 방법은 통합 최적화 시 평균 재구성 오차 3.0626(σ=0)를 기록하여, 통합 최적화 없이 수행한 경우의 3.1080보다 뛰어난 정량적 성능을 달성한다.
• 심한 조명 아티팩트가 있는 합성 시퀀스에서, 이전 방법(Valgaerts 등, 2012)이 강한 조도 변화를 처리하지 못해 실패한 물체도 성공적으로 추적하고 재구성한다.
• 통합 프레임워크에 반사광 모델링을 포함시킴으로써 재구성 정확도가 명백히 향상되며, 합성 및 실제 데이터 평가에서 낮은 RMS 오차로 입증된다.
• 노이즈가 있는 템플릿(σ=0.01) 조건에서도 통합 최적화 프레임워크는 안정된 성능(평균 제곱 오차 3.5477)을 유지하여 초기화 불확실성에 대한 강인성을 입증한다.
• 깊이 데이터가 이용 가능한 경우, 방법은 상당한 향상을 보이며, 예를 들어 통합 최적화 하에서 RGB 전용일 경우 RMS 오차 3.5791에서 깊이 데이터를 통합한 경우 3.5477로 감소함을 확인하여 다중 모odal 신호의 추가 가치를 입증한다.
• Zollhofer 등(2014)의 RGB-D 얼굴 시퀀스에 대한 정성적 결과는, 깊이 데이터가 노이즈가 있거나 가용하지 않은 경우에도 기준 방법보다 더 정확하고 세밀한 재구성을 제공함을 보여준다.