[논문 리뷰] Layer-structured 3D Scene Inference via View Synthesis

Shubham Tulsiani, Richard Tucker외 1명|arXiv (Cornell University)|2018. 07. 26.

Advanced Vision and Imaging참고 문헌 27인용 수 5

한 줄 요약

이 논문은 단일 이미지에서 시각 합성(task)을 보조 supervision 과제로 사용하여 층 구조를 가진 3D 장면 표현을 학습 기반으로 추론하는 방법을 제안한다. 새로운 시점에서 渲染된 LDI(Layered Depth Image)를 예측하는 CNN을 훈련시켜, 관측된 이미지와 일치하도록 함으로써, 가시 픽셀을 초월한 숨겨진 장면 기하학적 구조와 텍스처를 포착한다. 이는 합성 및 실제 KITTI 데이터 모두에서 경쟁적인 깊이 예측 성능과 향상된 시각 합성 성능을 달성한다.

ABSTRACT

We present an approach to infer a layer-structured 3D representation of a scene from a single input image. This allows us to infer not only the depth of the visible pixels, but also to capture the texture and depth for content in the scene that is not directly visible. We overcome the challenge posed by the lack of direct supervision by instead leveraging a more naturally available multi-view supervisory signal. Our insight is to use view synthesis as a proxy task: we enforce that our representation (inferred from a single image), when rendered from a novel perspective, matches the true observed image. We present a learning framework that operationalizes this insight using a new, differentiable novel view renderer. We provide qualitative and quantitative validation of our approach in two different settings, and demonstrate that we can learn to capture the hidden aspects of a scene.

연구 동기 및 목표

• 직접적인 3D supervision 이 없더라도 단일 이미지에서 은폐된 기하학적 구조와 텍스처를 추론함으로써, 가시 픽셀을 초월한 3D 장면 이해를 가능하게 한다.
• 3D supervision 이 부족한 상황을 보완하기 위해, 시각 합성을 보조 과제로 삼아 다중 시점 supervision 을 활용한다.
• 층 구조 깊이 이미지(LDI) 예측과 새로운 시점 생성을 지원하는 differentiable 렌더링 메커니즘을 개발한다.
• 지상 진술이 있는 합성 데이터와 실제 외부 환경 장면(KITTI 데이터셋을 사용)에서 방법의 유효성을 검증한다.
• 학습된 LDI 표현이 새로운 시점 합성에 일반화되고 2.5D 표현보다 깊이 추정 성능을 향상시킬 수 있음을 보여준다.

제안 방법

• 모델은 입력 이미지에서 각 픽셀이 여러 개의 깊이 층과 관련된 색상 정보를 포함하는 층 구조 깊이 이미지(LDI)를 예측하는 CNN을 사용한다.
• 새로운 differentiable forward splatting 레이어를 도입하여, 예측된 LDI를 새로운 시점으로 differentiable하게 렌더링할 수 있도록 하여, end-to-end 훈련을 가능하게 한다.
• 훈련 목표는 예측된 LDI에서 렌더링된 새로운 시점 이미지가 실제 관측된 이미지와 일치하도록 하는 시각 합성 손실을 사용한다.
• 훈련 중 다중 시점 supervision 을 활용한다: 각 이미지 쌍에 대해, 한 시점에서 LDI를 예측하고, 다른 시점은 예측된 LDI에서 렌더링한다.
• 캘리브레이션된 카메라에서 제공하는 스테레오 이미지 쌍을 활용하여, 은폐된 영역에 대한 간접적인 supervision 을 제공한다.
• 표준 CNN 최적화를 사용하며, 렌더링된 이미지와 목표 이미지 간의 픽셀 단위 L1 손실을 기반으로 훈련한다.

실험 결과

연구 질문

• RQ1 직접적인 3D supervision 이 없이도 단일 이미지 3D 장면 표현이 은폐된 장면 콘텐츠의 기하학적 구조와 텍스처를 추론할 수 있는가?
• RQ2 시각 합성이 단일 이미지에서 3D 장면 추론을 위한 강력한 보조 과제로 기능할 수 있는가?
• RQ3 층 구조 깊이 이미지(LDI) 표현이 2.5D 깊이 맵보다 새로운 시점에 대해 더 나은 일반화 성능을 보일 수 있는가?
• RQ4 기본선이 제한된 실외 환경 장면에서 모델의 성능은 어떠한가?
• RQ5 장애물 뒤의 건물 연장선과 같은 숨겨진 구조를 이해하고 추론할 수 있는가?

주요 결과

• 2층 LDI 모델은 KITTI 데이터셋에서 모든 픽셀에 대해 시각 합성 오차 0.0581, 해석된 픽셀에 대해 0.0800을 기록하여 단일층 모델을 능가했다.
• 은폐된 픽셀에 대해 오차가 0.0800으로 0.0813보다 향상되어, 숨겨진 기하학적 구조를 더 잘 처리하는 것으로 나타났다.
• KITTI 테스트 세트에서 절대 상대 깊이 오차는 0.1856을 기록했으며, Zhou 등(0.2079)의 최신 기술과 유사한 성능을 보였다.
• 정성적 결과에서 모델은 나무 뒤의 건물 연장선과 같은 영역에 대해 타당한 텍스처와 깊이를 성공적으로 유추했다.
• 합성 데이터에서는 배경 층이 실제 KITTI 데이터보다 더 효과적으로 활용되었으며, 이는 기준선 운동이 작아 깊이 파라랄랙스가 제한되기 때문일 것이다.
• differentiable LDI 렌더러 덕분에 end-to-end 훈련이 가능했고, 명시적인 3D supervision 이 없더라도 새로운 시점 합성에 대한 일반화 성능이 향상되었다.