[논문 리뷰] Im2Pano3D: Extrapolating 360 Structure and Semantics Beyond the Field of View

Shuran Song, Andy Zeng외 4명|arXiv (Cornell University)|2017. 12. 12.

Advanced Vision and Imaging참고 문헌 3인용 수 11

한 줄 요약

Im2Pano3D는 부분적인 RGB-D 관측값(≤50% 시야)에서 360° 3D 환경 구조와 의미적 레이블을 외삽하는 딥러닝 프레임워크를 제안한다. 평면 방정정식 인코딩과 합성 및 실재 실내 데이터를 활용한 다중 supervision을 통해, 56%의 픽셀 정확도와 0.52m 이하의 평균 표면 거리 오차를 기록한 완전한 원형 환경도를 예측하며, 기존의 기준 모델들보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

We present Im2Pano3D, a convolutional neural network that generates a dense prediction of 3D structure and a probability distribution of semantic labels for a full 360 panoramic view of an indoor scene when given only a partial observation (<= 50%) in the form of an RGB-D image. To make this possible, Im2Pano3D leverages strong contextual priors learned from large-scale synthetic and real-world indoor scenes. To ease the prediction of 3D structure, we propose to parameterize 3D surfaces with their plane equations and train the model to predict these parameters directly. To provide meaningful training supervision, we use multiple loss functions that consider both pixel level accuracy and global context consistency. Experiments demon- strate that Im2Pano3D is able to predict the semantics and 3D structure of the unobserved scene with more than 56% pixel accuracy and less than 0.52m average distance error, which is significantly better than alternative approaches.

연구 동기 및 목표

• 카메라의 시야 외부 영역에서 실내 환경의 3D 구조와 의미 정보를 추론하는 문제를 해결하기 위해.
• 제한된 관측값에서 완전한 원형 시야를 외삽할 수 있는 통합된 딥러닝 프레임워크를 개발하기 위해.
• 일반화 성능 향상을 위해 대규모 합성 및 실재 실내 데이터셋에서 유도된 강력한 맥락적 사전 지식을 활용하기 위해.
• 인식 및 재구성 작업을 모두 지원할 수 있는 견고한 3D 표현을 설계하기 위해.

제안 방법

• Im2Pano3D는 컨volutional 신경망을 사용하여 부분적인 RGB-D 입력에서 전체 360° 원형 시야의 3D 구조와 의미 확률을 예측한다.
• 원시 깊이가 아닌 평면 방정식(ax + by + cz + d = 0)을 사용해 3D 표면을 표현함으로써 조각별로 일정하고 강인한 예측이 가능해진다.
• 강력한 맥락적 사전 지식을 학습하기 위해 합성(SUNCG) 및 실재(Matterport3D) 실내 환경 데이터의 조합으로 모델을 훈련시킨다.
• 지역적 정확성과 전역 일관성을 확보하기 위해 픽셀 단위 재구성 오차, 적대적 오차, 환경 속성 오차를 포함한 다수준 supervision을 적용한다.
• 다양한 카메라 설정과 입력 시야를 고려한 일반화 성능 향상을 위해 훈련 중에 무작위 시야 마스크를 사용한다.
• RGB-D, 색상 원형 영상, 깊이가 주석 처리된 원형 영상 등 다양한 입력 모odalities를 지원한다.

실험 결과

연구 질문

• RQ1 부분적 관측값을 바탕으로 관측되지 않은 실내 환경 영역의 3D 구조와 의미 정보를 정확하게 예측할 수 있는가?
• RQ2 원시 깊이 예측과 비교해 평면 방정식 표현이 3D 구조 예측의 강인성 향상에 얼마나 효과적인가?
• RQ3 합성 데이터(SUNCG)로 사전 훈련하면 실재 벤치마크(Matterport3D)에서 성능 향상에 얼마나 기여하는가?
• RQ4 관측 영역에서의 거리와 입력 시야에 따라 예측 정확도는 어떻게 변화하는가?
• RQ5 다양한 카메라 설정과 입력 모달리티 간에 모델의 일반화 능력은 어떻게 되는가?

주요 결과

• Im2Pano3D는 관측되지 않은 영역의 3D 구조와 의미 정보 예측에서 56%의 픽셀 정확도를 달성하여 다른 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 평균 표면 거리 오차가 0.52m 이하로 떨어져 외삽된 3D 구조의 높은 기하학적 정확도를 입증했다.
• SUNCG에서 사전 훈련하면 Matterport3D에서 PoG 성능이 9% 향상되고 표면 거리 오차가 4% 감소하여 합성 데이터의 가치를 입증했다.
• 관측 영역에서의 거리가 증가할수록 성능 저하가 발생하지만, 특히 가림되거나 먼 영역에서조차 기존 기준 모델들보다 훨씬 높은 성능 유지를 보였다.
• 단일/다중 RGB-D, 원형 색상 영상, 깊이가 주석 처리된 원형 영상 조합 등 다양한 카메라 설정과 입력 모달리티 간에 효과적으로 일반화되었다.
• SUNCG 데이터만으로 훈련된 모델가 Matterport3D 전용으로 훈련된 모델보다 분할 작업에서 더 높은 성능을 보였으며, 이는 합성 데이터로부터의 강력한 제로샷 일반화 능력을 시사한다.