[논문 리뷰] Shadows Shed Light on 3D Objects

Ruoshi Liu, Sachit Menon외 4명|arXiv (Cornell University)|2022. 06. 17.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 그림자만으로 3D 물체 형상을 재구성하는 미분 가능 생성 모델을 제안한다. 종단 간 미분 렌더링을 통해 3D 기하학, 물체 자세, 조명 위치를 동시에 추론한다. 학습된 잠재 공간에서 기하학적 및 물리적 사전 지식을 통합함으로써, 조명 위치와 물체 자세가 알려지지 않은 경우에도 관측된 그림자와 일관되며 다양한 현실적인 3D 재구성을 가능하게 한다.

ABSTRACT

3D reconstruction is a fundamental problem in computer vision, and the task is especially challenging when the object to reconstruct is partially or fully occluded. We introduce a method that uses the shadows cast by an unobserved object in order to infer the possible 3D volumes behind the occlusion. We create a differentiable image formation model that allows us to jointly infer the 3D shape of an object, its pose, and the position of a light source. Since the approach is end-to-end differentiable, we are able to integrate learned priors of object geometry in order to generate realistic 3D shapes of different object categories. Experiments and visualizations show that the method is able to generate multiple possible solutions that are consistent with the observation of the shadow. Our approach works even when the position of the light source and object pose are both unknown. Our approach is also robust to real-world images where ground-truth shadow mask is unknown.

연구 동기 및 목표

• 물체가 완전히 또는 부분적으로 가림당할 때 단일 시점 이미지로부터 3D 재구성을 해결하는 데 목적이 있다.
• 보통 간과되는 기하학적 단서로서의 그림자를 활용하여 숨겨진 3D 물체 형상을 추론하는 데 목적이 있다.
• 그림자 관측치로부터 3D 형상, 물체 자세, 조명 위치를 동시에 최적화하는 종단 간 미분 가능 프레임워크를 개발하는 데 목적이 있다.
• 학습된 기하학적 사전 지식과 물리적 타당성을 재구성 과정에 통합하여 현실적이며 다양한 3D 가설을 생성하는 데 목적이 있다.
• 지표 그림자 마스크가 알려지지 않은 실세계 상황에서도 강건한 3D 재구성을 가능하게 하는 데 목적이 있다.

제안 방법

• 주어진 조명 위치와 카메라 설정 하에서 3D 물체가 어떻게 그림자를 투사하는지 시뮬레이션하는 미분 가능 이미지 형성 모델을 수립한다.
• 가우스 분포 잠재 사전을 가진 학습된 점유도 네트워크를 사용하여 3D 형상을 표현함으로써 다양한 물체 가설을 생성할 수 있도록 한다.
• 예측된 그림자 마스크와 관측된 그림자 마스크 간의 차이를 최소화하기 위해 생성 모델의 잠재 코드, 물체 자세, 조명 위치를 동시에 최적화한다.
• 물체 기하학과 카메라 파라미터에 대한 경험적 사전 지식을 통합하여 현실적인 3D 재구성을 향해 최적화를 이끌어낸다.
• 기울기 기반 최적화를 통해 잠재 공간을 효율적으로 탐색함으로써 불확실성 하에서 평균 회귀 현상을 피한다.
• 알려진 조명 위치와 알려지지 않은 조명 위치 상황을 모두 지원하여 단일 그림자 관측치로부터 다중 가설 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 그림자만으로도 가려진 물체의 타당한 3D 형상을 재구성하는 데 충분한 기하학적 제약을 제공할 수 있는가?
• RQ2 어떻게 미분 가능 렌더링 파이프라인을 사용하여 그림자에서 3D 형상, 물체 자세, 조명 위치를 동시에 최적화할 수 있는가?
• RQ3 잠재 공간을 가진 생성 모델이 동일한 그림자와 일관되며 다양한 현실적인 3D 재구성을 생성할 수 있는가?
• RQ4 조명 위치가 알려지지 않거나 모호할 경우 이 방법은 어떻게 성능을 보이는가?
• RQ5 이 모델은 완벽하지 않거나 알려지지 않은 그림자 마스크를 가진 실세계 이미지에 얼마나 일반화되는가?

주요 결과

• 동일한 그림자와 일치하는 다양한 3D 형상(예: 승용차, 트럭, 소파)을 성공적으로 재구성하여 다중 가설 추론 능력을 입증한다.
• 잠재 공간 최적화는 정확한 예측의 가능성을 점차 증가시키며 타당한 형상 탐색이 효과적으로 이루어지고 있음을 보여준다.
• 손으로 수정된 그림자(예: 팔걸이 추가, 트렁크 높이 조정 등)에 대해서도 정확한 재구성을 생성하여 미세한 그림자 세부 정보에 민감함을 입증한다.
• 불확실성 하에서 일반적인 회귀 행동을 보이는 지도 학습 기반 베이스라인에 비해 성능이 뛰어나다.
• 재구성된 형상이 물리적으로 안정적이거나 일반적인 물체 사전 지식을 위반할 경우 실패가 발생하므로, 더 강력한 사전 지식이 필요함을 시사한다.
• 지표 그림자 마스크가 없는 실세계 이미지에 대해서도 일반화 가능하여 실용적 환경에서의 강건성을 보여준다.