[논문 리뷰] Deep Sliding Shapes for Amodal 3D Object Detection in RGB-D Images

Shuran Song, Jianxiong Xiao|arXiv (Cornell University)|2015. 11. 07.

Advanced Neural Network Applications인용 수 38

한 줄 요약

이 논문은 RGB-D 이미지에서 음영이 있는 3차원 물체 검출을 위한 3D ConvNet 기반 프레임워크인 Deep Sliding Shapes를 제안한다. 3D 영역 제안망(RPN)을 사용해 다중 척도의 3차원 제안을 생성하고, 2D-3D 병합 컨볼루션 네트워크를 통해 3차원 경계 상자 회귀 및 물체 분류를 수행한다. 이는 최신 기술 대비 13.8 mAP 향상과 함께 원본 Sliding Shapes 대비 200배 빠른 속도를 기록한다.

ABSTRACT

We focus on the task of amodal 3D object detection in RGB-D images, which aims to produce a 3D bounding box of an object in metric form at its full extent. We introduce Deep Sliding Shapes, a 3D ConvNet formulation that takes a 3D volumetric scene from a RGB-D image as input and outputs 3D object bounding boxes. In our approach, we propose the first 3D Region Proposal Network (RPN) to learn objectness from geometric shapes and the first joint Object Recognition Network (ORN) to extract geometric features in 3D and color features in 2D. In particular, we handle objects of various sizes by training an amodal RPN at two different scales and an ORN to regress 3D bounding boxes. Experiments show that our algorithm outperforms the state-of-the-art by 13.8 in mAP and is 200x faster than the original Sliding Shapes. All source code and pre-trained models will be available at GitHub.

연구 동기 및 목표

• 음영 또는 잘린 물체로 인해 완전한 3차원 경계 상자를 예측해야 하는 문제를 해결하기 위해, RGB-D 이미지에서 음영이 있는 3차원 물체 검출에 도전한다.
• Depth RCNN와 같은 2D 기반 방법이나 Sliding Shapes와 같은 3D 수작업 기반 방법의 한계를 극복하기 위해, 종단 간 3차원 딥 러닝을 활용한다.
• 외부 CAD 모델이나 후처리 3차원 피팅이 필요 없도록, 3차원 제안에서 직접 3차원 경계 상자를 회귀함으로써 이를 제거한다.
• 심도에서 3차원 기하학적 특징과 RGB 이미지에서 2차원 색상 특징을 함께 학습함으로써 검출 정확도와 속도를 향상시킨다.

제안 방법

• 3차원 볼륨 장면을 심도에서 입력으로 받아, 크기 변화를 다루기 위해 두 척도에서 음영이 있는 3차원 물체 제안을 출력하는 최초의 3D 영역 제안망(RPN)을 제안한다.
• 3차원 제안을 3D 컨볼루션 네트워크로 처리해 기하학적 특징을 추출하고, 3차원 제안에서 투영된 2차원 이미지 조각을 2D 컨볼루션 네트워크로 처리해 색상 특징을 추출하는 통합 물체 인식 네트워크(ORN)를 도입한다.
• 다양한 수신 필드를 가진 다중 척도 RPN을 활용해 다양한 크기의 물체에 대한 제안을 생성함으로써 검출의 강건성을 향상시킨다.
• 맨해튼 월드 가정을 사용해 3차원 경계 상자 방향을 정의함으로써 기하학적 사전 지식을 도입해 3차원 검출 작업을 단순화한다.
• 3차원 제안에서 직접 종단 간 3차원 경계 상자 회귀를 수행함으로써 CAD 모델 피팅이나 ICP 정렬이 필요 없도록 한다.
• 3차원 볼륨 표현을 활용해 강력한 3차원 형태 특징을 학습하고, 2차원 색상 특징과 융합함으로써 카테고리 인식 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 RGB-D 데이터를 사용한 음영이 있는 3차원 물체 검출에서, 3D 컨볼루션 네트워크 기반 영역 제안망이 2D 기반 접근법보다 우월한가?
• RQ2 단지 심도 또는 단지 색상 특징을 사용하는 것보다, 2D-3D 특징을 병합해 학습하면 검출 정확도가 향상되는가?
• RQ3 3차원 제안에서 종단 간 3차원 경계 상자 회귀가 후처리 3차원 모델 피팅이 필요 없게 하고, 속도와 정확도를 향상시키는가?
• RQ4 다양한 물리적 크기를 가진 물체를 다루기 위해 다중 척도 제안 생성은 얼마나 효과적인가?
• RQ5 낮은 주파수의 심도 신호를 사용하더라도, 3차원 딥 리파지터리 표현이 HHA와 같은 2차원 표현보다 더 강력한 기하학적 특징을 학습할 수 있는가?

주요 결과

• 제안된 방법은 SUN RGB-D 데이터셋에서 84.7% mAP를 달성하여 이전 최고 기술 대비 13.8 mAP 향상했다.
• 모델은 원본 Sliding Shapes 대비 200배 빠른 속도로 실행되어 단일 GPU 전방 계산으로 실시간 추론를 구현했다.
• 3차원 상자 회귀는 3D Selective Search를 사용할 경우 mAP를 4.4점 향상시키고, RPN을 사용할 경우 4.1점 향상시켜 그 효과를 입증했다.
• 통합 2D-3D ORN은 색상과 기하학적 신호를 결합해 유사한 형태의 물체(예: 침대와 테이블) 간의 구분을 향상시켰다.
• 크기 필터링 후처리 기법은 일부 카테고리에서 오진 탐지 수를 줄이고 mAP를 최대 7.8점 향상시켜, 부적절한 제안을 걸러내는 데서의 가치를 입증했다.
• 외부 학습 데이터(예: CAD 모델 없음) 없이도 강력한 성능을 달성했으며, 이러한 데이터에 의존하는 방법보다 뛰어난 성능을 보여 3차원 딥 리파지터리의 힘을 입증했다.