[논문 리뷰] Learning Rich Features from RGB-D Images for Object Detection and Segmentation

Saurabh Gupta, Ross Girshick외 2명|arXiv (Cornell University)|2014. 07. 22.

Advanced Neural Network Applications인용 수 10

한 줄 요약

이 논문은 깊이 이미지에 대한 새로운 지심기반 임베딩을 제안한다—수평 이질성, 지면에서의 높이, 중력 방향과의 각도를 인코딩하여 RGB-D 객체 검출 및 인스턴스 세분화에서 특징 학습을 향상시킨다. 이 표현 방식을 CNN 기반의 R-CNN 프레임워크에 통합함으로써, 기존 방법 대비 평균 정밀도(37.3%)에서 56% 상대적 향상을 달성하였고, 객체 검출기 출력을 초분할 특징으로 활용함으로써 의미적 세분화에서 24% 상대적 향상을 이룩하였다.

ABSTRACT

In this paper we study the problem of object detection for RGB-D images using semantically rich image and depth features. We propose a new geocentric embedding for depth images that encodes height above ground and angle with gravity for each pixel in addition to the horizontal disparity. We demonstrate that this geocentric embedding works better than using raw depth images for learning feature representations with convolutional neural networks. Our final object detection system achieves an average precision of 37.3%, which is a 56% relative improvement over existing methods. We then focus on the task of instance segmentation where we label pixels belonging to object instances found by our detector. For this task, we propose a decision forest approach that classifies pixels in the detection window as foreground or background using a family of unary and binary tests that query shape and geocentric pose features. Finally, we use the output from our object detectors in an existing superpixel classification framework for semantic scene segmentation and achieve a 24% relative improvement over current state-of-the-art for the object categories that we study. We believe advances such as those represented in this paper will facilitate the use of perception in fields like robotics.

연구 동기 및 목표

• 원시 이질성 이외의 더 풍부한 깊이 표현을 활용하여 RGB-D 이미지에서의 객체 검출 및 인스턴스 세분화를 향상시키기 위해.
• 경계 상자 기반 검출 및 의미적 세분화의 한계를 보완하기 위해 픽셀 수준의 인스턴스 세분화를 도입하기 위해.
• 깊이 이미지에서 유도된 지심기반 자세 및 기하적 단서를 인코딩하여 컨volutional 신경망의 특징 학습을 향상시키기 위해.
• 초분할을 위한 추가적 특징으로 객체 검출기 출력을 통합하여 의미적 장면 세분화를 향상시키기 위해.
• 풍부한 RGB-D 특징이 로봇 공학 및 장면 이해 응용 분야에서 실용적으로 유용함을 입증하기 위해.

제안 방법

• 각 픽셀의 3D 기하적 맥락을 인코딩하기 위해 수평 이질성, 지면에서의 높이, 중력 방향과의 각도를 포함한 3채널 지심기반 임베딩을 도입한다.
• 기존에 훈련된 RGB CNN을 지심기반 깊이 임베딩에서 특징을 학습하도록 변형하여, 원시 깊이 또는 이질성만을 사용하는 것보다 표현 학습을 향상시킨다.
• RGB-D 윤곽선과 함께 다중 척도 조합 그룹화(MCG)를 사용하여 2.5D 영역 제안을 생성함으로써, 혼잡한 환경에서 제안 품질을 향상시킨다.
• 의사결정림을 사용하여 인스턴스 세분화를 수행하며, 형태 및 지심기반 자세 특징에 대한 단항 및 이항 테스트를 통해 픽셀을 배경 또는 전경으로 분류한다.
• 객체 검출기 출력(검출된 객체의 존재, 위치, 신뢰도)을 초분할 특징에 추가함으로써 의미적 세분화 성능을 향상시킨다.
• 객체 검출 및 세분화를 통합된 파이프라인으로 통합하여 인스턴스 수준 및 의미 수준의 레이블링을 모두 지원한다.

실험 결과

연구 질문

• RQ1 높이 및 중력 정렬을 인코딩하는 지심기반 깊이 임베딩이 RGB-D 객체 검출을 위한 CNN 기반 특징 학습에 기여하는가?
• RQ2 지심기반 표현을 통해 RGB와 깊이 특징을 융합하면 원시 깊이 또는 이질성만을 사용하는 것보다 더 나은 검출 및 세분화 성능을 달성하는가?
• RQ3 의사결정림이 RGB-D 데이터에서 유도된 형태 및 지심기반 자세 특징을 활용하여 효과적으로 인스턴스 세분화를 수행할 수 있는가?
• RQ4 초분할을 위한 보조 특징으로 객체 검출기 출력을 사용할 경우, 의미적 세분화 성능 향상 정도는 어느 정도인가?
• RQ5 다양한 객체 카테고리에서 평균 정밀도 및 세분화 정확도 측면에서 제안된 시스템은 최신 기술 대비 어떻게 성능을 내는가?

주요 결과

• 지심기반 깊이 임베딩은 CNN 기반 특징 학습을 크게 향상시켜, 기존 방법 대비 객체 검출에서 평균 정밀도(37.3%)에서 56% 상대적 향상을 이룩하였다.
• 의사결정림을 사용한 제안된 인스턴스 세분화 방법은 형태 및 지심기반 자세 특징을 활용하여 베이스라인 방법보다 뛰어난 성능을 달성하였다.
• 초분할 특징에 객체 검출기 출력을 추가함으로써 의미적 세분화 성능이 24% 상대적 향상되었으며(28.4%에서 35.1% 평균 재결합 지수로), 이는 성능 향상의 중요한 요소로 기능하였다.
• 제안된 시스템은 대상으로 하는 객체 카테고리에서 의미적 세분화 분야에서 최신 기술 수준의 성능을 달성하였으며, 빈도 가중 평균 재결합 지수(fwavacc)는 60.3%를 기록하였다.
• RGB-D 윤곽선과 MCG를 통한 2.5D 영역 제안의 통합은 제안 생성 성능에서 최신 기술 수준을 달성하였으며, 이는 검출 및 세분화 정확도 향상에 기여하였다.
• 이 방법은 뉴욕 대학 깊이 데이터셋(NYU Depth dataset)과 같은 통제되지 않은 혼잡한 환경에서도 강력한 일반화 성능을 보였으며, 제어된 실험실 환경을 대상으로 설계된 이전 방법들을 능가하였다.