[논문 리뷰] Cooperative Holistic Scene Understanding: Unifying 3D Object, Layout, and Camera Pose Estimation

Siyuan Huang, Siyuan Qi외 4명|arXiv (Cornell University)|2018. 10. 30.

Advanced Vision and Imaging인용 수 36

한 줄 요약

이 논문은 단일 RGB 이미지에서 종합적인 3차원 실내 환경 이해를 위한 엔드 투 엔드, 실시간 프레임워크를 제안한다. 3차원 객체 검출, 레이아웃 추정, 카메라 자세 예측을 통합한다. 3차원 경계상자에 대한 매개변수화된 공식과 상호보완적 손실 함수를 도입하여 2D-3D 일致성과 물리적 타당성을 강제함으로써, SUN RGB-D 데이터셋에서 최신 기술 수준의 성능을 달성하며 정확도와 효율성 면에서 뚜렷한 향상을 이룬다.

ABSTRACT

Holistic 3D indoor scene understanding refers to jointly recovering the i) object bounding boxes, ii) room layout, and iii) camera pose, all in 3D. The existing methods either are ineffective or only tackle the problem partially. In this paper, we propose an end-to-end model that simultaneously solves all three tasks in real-time given only a single RGB image. The essence of the proposed method is to improve the prediction by i) parametrizing the targets (e.g., 3D boxes) instead of directly estimating the targets, and ii) cooperative training across different modules in contrast to training these modules individually. Specifically, we parametrize the 3D object bounding boxes by the predictions from several modules, i.e., 3D camera pose and object attributes. The proposed method provides two major advantages: i) The parametrization helps maintain the consistency between the 2D image and the 3D world, thus largely reducing the prediction variances in 3D coordinates. ii) Constraints can be imposed on the parametrization to train different modules simultaneously. We call these constraints "cooperative losses" as they enable the joint training and inference. We employ three cooperative losses for 3D bounding boxes, 2D projections, and physical constraints to estimate a geometrically consistent and physically plausible 3D scene. Experiments on the SUN RGB-D dataset shows that the proposed method significantly outperforms prior approaches on 3D object detection, 3D layout estimation, 3D camera pose estimation, and holistic scene understanding.

연구 동기 및 목표

• 기존 방법들이 효율적이거나 완전하지 않은 단일 RGB 이미지에서 종합적인 3차원 실내 환경 이해 문제를 해결하기 위해.
• 직접적인 3차원 좌표 회귀 대신 예측된 카메라 자세와 객체 특성으로 3차원 경계상자를 매개변수화하여 2D-3D 일치성을 향상시키기 위해.
• 기하학적 및 물리적 제약 조건을 강제하는 상호보완적 손실 함수를 통해 3차원 객체 검출, 레이아웃 추정, 카메라 자세 추정 간의 공동 학습 및 추론을 가능하게 하기 위해.
• 복잡한 실내 환경에서 높은 정확도와 물리적 타당성을 유지하면서도 실시간 성능를 달성하기 위해.

제안 방법

• 2D 박스 중심, 예측된 카메라 자세, 객체 특성을 사용하여 3차원 객체 경계상자를 매개변수화하여 2D-3D 일치성을 유지한다.
• 3차원 경계상자를 다시 영상 평면으로 투영하고 2D 검출과 일치시키는 가분리 가능한 2D 투영 손실을 도입한다.
• 기하학적 일치성 손실, 물리적 제약 손실과 함께 2D 투영 손실을 포함한 상호보완적 손실 함수를 설계하여 세 모듈을 공동으로 학습시킨다.
• 단일 RGB 이미지를 처리하고 동시에 3차원 레이아웃, 카메라 자세, 3차원 객체 경계상자를 출력하는 통합형 엔드 투 엔드 딥 러닝 아키텍처를 사용한다.
• 객체 크기 사전 지식과 공간적 타당성 제약 조건을 적용하여 일반화 능력을 향상시키고 예측 변동성을 줄인다.
• 완전한 3차원 애너테이션 없이도 강건한 추론이 가능하도록 2D 감독, 3차원 감독, 비지도 제약 조건의 조합을 사용하여 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 3차원 경계상자의 매개변수화된 공식을 사용하여 3차원 환경 이해에서 2D-3D 일치성을 효과적으로 강제할 수 있는가?
• RQ2 3차원 객체 검출, 레이아웃 추정, 카메라 자세 추정 간의 상호보완적 학습이 전체 성능 및 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ3 물리적 타당성과 기하학적 일치성이 엔드 투 엔드 학습 프레임워크에 가분리 가능한 제약 조건으로 통합될 수 있는 정도는 어느 정도인가?
• RQ4 완전한 감독 학습 모델을 3차원 객체 검출 정확도를 유지하면서도 약한 감독 또는 비지도 대체 모델로 대체할 수 있는가?

주요 결과

• 제안된 방법은 SUN RGB-D 데이터셋에서 3차원 객체 검출, 3차원 레이아웃 추정, 3차원 카메라 자세 추정, 종합적 환경 이해에서 최신 기술 수준의 성능을 달성한다.
• 2D 투영 손실을 제거했을 때(S2) 2D mIoU가 8.0% 감소함으로써, 이 손실 함수가 2D-3D 일치성을 유지하는 데 핵심적인 역할을 한다는 것을 입증한다.
• 3차원 감독 없이 학습된 모델(S4)도 크기 사전 지식을 활용하여 합리적인 3차원 경계상자를 생성함으로써, 비지도 제약 조건의 효과성을 보여준다.
• 절단 분석 결과, 상호보완적 손실 함수가 3D 감독이 제한된 경우에도 모든 작업에서 성능 향상을 크게 이끌어내는 것으로 확인되었다.
• 모델는 실시간 추론 속도를 확보하여 로봇 및 AR/VR 애플리케이션에 실용적으로 구현 가능한 것으로 나타났다.
• 합성 데이터에서 사전 학습(S5)과 투영된 2D 박스 사용(S6) 모두 거의 동일한 성능를 보이며, 애너테이션 부족에 대한 강건성을 시사한다.