[논문 리뷰] DeepContext: Context-Encoding Neural Pathways for 3D Holistic Scene Understanding

Yinda Zhang, Mingru Bai외 3명|arXiv (Cornell University)|2016. 03. 16.

Human Pose and Action Recognition참고 문헌 43인용 수 10

한 줄 요약

이 논문은 싱글 딥 이미지에서 3D 전체 장면 이해를 향상시키기 위해 학습 가능한 장면 템플릿을 통해 통합된 장면 맥락을 인코딩하는 3D 컨volution 신경망인 DeepContext를 제안한다. 입력 장면을 표준 3D 템플릿에 정렬하고, 객체 존재성과 위치를 동시에 고려하는 이중 경로 네트워크를 사용함으로써, SUN-RGBD에서 최신 기술 수준의 성능을 달성한다. 단일 순방향 전파 내에서 다수의 객체를 처리하면서도 3D 검출 정확도와 레이아웃 추정 성능이 이전 방법을 능가한다.

ABSTRACT

While deep neural networks have led to human-level performance on computer vision tasks, they have yet to demonstrate similar gains for holistic scene understanding. In particular, 3D context has been shown to be an extremely important cue for scene understanding - yet very little research has been done on integrating context information with deep models. This paper presents an approach to embed 3D context into the topology of a neural network trained to perform holistic scene understanding. Given a depth image depicting a 3D scene, our network aligns the observed scene with a predefined 3D scene template, and then reasons about the existence and location of each object within the scene template. In doing so, our model recognizes multiple objects in a single forward pass of a 3D convolutional neural network, capturing both global scene and local object information simultaneously. To create training data for this 3D network, we generate partly hallucinated depth images which are rendered by replacing real objects with a repository of CAD models of the same object category. Extensive experiments demonstrate the effectiveness of our algorithm compared to the state-of-the-arts. Source code and data are available at http://deepcontext.cs.princeton.edu.

연구 동기 및 목표

• 하나의 장면 이해 파ip라인에서 별도의 바닥에서부터 위로 향하는 파이프라인의 한계를 해결하기 위해, 계산 비용이 많이 들고 노이즈에 민감한 문제를 해결하고자 한다.
• 단일 딥 네트워크 내에서 전역 맥락과 국소적 외관을 통합함으로써 효율적이고 종단 간 3D 장면 이해를 가능하게 하고자 한다.
• 실제 객체가 포함된 RGB-D 장면에서 CAD 모델을 사용하여 현실적인 훈련 데이터를 합성함으로써 3D 장면 이해에서의 데이터 부족 문제를 해결하고자 한다.
• 수동으로 정의된 공간 사전 지식 없이도, 데이터 기반의 탄력적인 객체 간 맥락 관계를 모델링하고자 한다.
• 색상과 깊이를 모두 사용하는 방법보다도 깊이 입력만으로도 강력하고 고정밀한 3D 객체 검출 및 레이아웃 추정을 달성하고자 한다.

제안 방법

• 장면 템플릿—기능적인 실내 영역(예: 수면, 사무실, 휴게)의 기준 3D 레이아웃—을 사용하여 고정된 차원의 맥락을 표현한다.
• 변환 네트워크는 추정된 회전과 이동을 통해 입력 깊이 이미지를 가장 가까운 장면 템플릿에 정렬함으로써 맥락 추론을 위한 구조화된 초기화를 제공한다.
• 3D 맥락 신경망은 정렬된 장면을 두 개의 병렬 경로로 처리한다: 전역 맥락을 위한 통합 장면 경로와 3D 영역 관심(ROI) 풀링을 사용한 국소 객체 특징을 위한 객체 경로.
• 네트워크는 단일 순방향 전파 내에서 국소 및 전역 특징을 활용하여 객체 존재성(분류)과 3D 경계상자 회귀(위치)를 동시에 예측한다.
• 실제 객체를 같은 카테고리의 CAD 모델로 교체하여 SUN-RGBD 장면에서 합성 훈련 데이터를 생성함으로써 장면 레이아웃과 혼잡함을 유지하면서도 객체 외관을 다양화한다.
• 모델은 합성 데이터로 사전 훈련하고 실제 데이터로 미세 조정함으로써, 직접 실데이터로 훈련할 경우 수렴하지 못하는 상황에서도 수렴 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 국소적 외관 신호를 초월하여 3D 장면 맥락을 효과적으로 인코딩하여 통합 장면 이해를 향상시킬 수 있는가?
• RQ2 모르는 수의 객체를 포함한 변동하는 차원의 장면 표현을 고정된 아키텍처의 3D CNN 내에서 어떻게 모델링할 수 있는가?
• RQ3 데이터로부터 자동으로 맥락을 학습할 수 있는가, 아니면 수동으로 정의된 객체 간 관계에 의존해야 하는가?
• RQ4 제한된 실데이터가 있는 3D 장면 이해에서 합성 데이터 증강이 일반화 성능을 얼마나 향상시키는가?
• RQ5 장면 템플릿과 이중 경로 특징 학습의 통합이 검출 정확도와 레이아웃 추정에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 SUN-RGBD 데이터셋에서 3D 검출 mAP(평균 정밀도) 71.02%를 달성하여 이전 최신 기술 수준의 COG(66.93%)를 크게 능가한다.
• 정밀도 향상 후, 레이아웃 추정 오차는 최대 50% 감소한다: 예를 들어 수면 영역에서 바닥 레이아웃 오차는 초기 상태 0.30m에서 추정 후 0.10m로 감소한다.
• 신경 회귀 기반 변환 네트워크는 ICP 기반 포인트 클라우드 정렬보다 성능이 뛰어나며, 대칭성을 고려할 경우 96.3%의 회전 정확도를 달성한다(대칭 없이 ICP는 75.6%)
• 진짜 템플릿 정렬을 사용할 경우 추정 정렬 대비 mAP가 2.19% 향상되며, 진짜 템플릿 분류는 mAP를 추가로 1.52% 향상시킨다.
• 수면 영역에서는 객체 검출 정확도가 100.0%에 도달했고, 휴게 영역에서는 94.3%를 기록하여 복잡한 레이아웃에서도 뛰어난 성능을 보였다.
• 시스템은 실제 환경에 잘 일반화되며, 정성적 결과에서 혼잡한 환경에서도 다수의 객체를 정확하게 검출하고 국소화하는 것을 보여준다.