[논문 리뷰] 3D-SSD: Learning Hierarchical Features from RGB-D Images for Amodal 3D Object Detection

Qianhui Luo, Huifang Ma외 3명|arXiv (Cornell University)|2017. 11. 01.

Advanced Neural Network Applications참고 문헌 28인용 수 14

한 줄 요약

이 논문은 RGB-D 이미지를 사용하여 실내 환경에서 모달성 3D 객체 검출을 위한 엔드 투 엔드 딥 러닝 프레임워크인 3D-SSD를 제안한다. RGB 및 깊이 스트림에서 유도된 계층적 외관 및 기하학적 특징을 융합하고, 깊이 유도 3D 자세 추정과 함께 다중 척도 3D 앵커 박스를 사용하며, 2D 진짜값을 활용해 강력한 양성 샘플 매칭을 수행한다. 이로 인해 Deep Sliding Shape 대비 mAP가 10.2% 높고, 추론 속도는 88배 빠르게 구현되었다. SUN RGB-D에서 성능을 입증하였다.

ABSTRACT

This paper aims at developing a faster and a more accurate solution to the amodal 3D object detection problem for indoor scenes. It is achieved through a novel neural network that takes a pair of RGB-D images as the input and delivers oriented 3D bounding boxes as the output. The network, named 3D-SSD, composed of two parts: hierarchical feature fusion and multi-layer prediction. The hierarchical feature fusion combines appearance and geometric features from RGB-D images while the multi-layer prediction utilizes multi-scale features for object detection. As a result, the network can exploit 2.5D representations in a synergetic way to improve the accuracy and efficiency. The issue of object sizes is addressed by attaching a set of 3D anchor boxes with varying sizes to every location of the prediction layers. At the end stage, the category scores for 3D anchor boxes are generated with adjusted positions, sizes and orientations respectively, leading to the final detections using non-maximum suppression. In the training phase, the positive samples are identified with the aid of 2D ground truth to avoid the noisy estimation of depth from raw data, which guide to a better converged model. Experiments performed on the challenging SUN RGB-D dataset show that our algorithm outperforms the state-of-the-art Deep Sliding Shape by 10.2% mAP and 88x faster. Further, experiments also suggest our approach achieves comparable accuracy and is 386x faster than the state-of-art method on the NYUv2 dataset even with a smaller input image size.

연구 동기 및 목표

• 실시간 응용 프로그램에 적합한 실시간 성능 및 엔드 투 엔드 훈련을 위한 기존 3D 객체 검출기의 한계를 해결한다.
• 상호보완적인 RGB 및 깊이 정보를 활용해 모달성 3D 객체 검출의 정확도를 향상시킨다.
• 비가역적 제안 생성을 피하고 검출 및 정렬의 공동 최적화를 가능하게 하는 통합형 엔드 투 엔드 프레임워크를 개발한다.
• 희박하고 노이즈가 많은 3D 포인트 클라우드의 과제를 RGB-D 이미지에서 유도된 2.5D 표현을 통해 해결한다.
• 최소한의 입력 크기와 계산 비용으로 높은 성능을 달성하여 실시간 배포에 적합한 성능을 달성한다.

제안 방법

• 네트워크는 RGB와 깊이 스트림에서 별도로 외관(_RGB_) 및 기하학적(깊이) 특징을 추출하는 이중 스트림 백본을 사용하며, 여러 단계에서 계층적 특징 융합을 수행한다.
• RGB 및 깊이 네트워크의 대응 레이어에서 유도된 특징을 연결하여 다중 수준, 다중 모odal 표현을 형성한다.
• 사전 정의된 크기를 가진 다중 척도 3D 앵커 박스가 융합된 특징 맵의 각 공간 위치에 부착되며, 3D 위치는 깊이 이미지에서 유도된다.
• 1x1 및 3x3 컨볼루션 레이어의 시리즈가 앵커 기반 3D 경계 상자 위치, 크기, 방향의 오프셋을 회귀한다.
• 각 앵커에 대해 카테고리 점수가 예측되고, 최종 검출 결과를 생성하기 위해 비최대 억제(NMS)가 적용된다.
• 훈련 중에 2D 진짜값 박스를 사용해 양성 3D 앵커 박스를 식별함으로써 정확도와 수렴 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 RGB 및 깊이 특징의 계층적 융합이 모달성 3D 객체 검출의 정확도 향상에 기여하는가?
• RQ2 2D 진짜값을 활용해 3D 양성 샘플 할당을 유도함으로써 모델의 수렴 안정성과 강건성이 향상되는가?
• RQ3 다중 척도 3D 앵커를 갖춘 SSD의 3D 일반화 버전이 동시에 높은 정확도와 빠른 속도를 달성할 수 있는가?
• RQ4 3D 포인트 클라우드 또는 2D 전용 방법 대비 2.5D 표현 사용이 성능 및 효율성 측면에서 어떻게 비교되는가?
• RQ5 정확도와 모델 복잡도의 균형을 고려할 때 최적의 계층적 특징 융합 수준은 무엇인가?

주요 결과

• 3D-SSD는 전체 계층적 융합을 사용해 SUN RGB-D 테스트 세트에서 36.0% mAP를 달성했으며, 단일 단계 융합을 사용한 베이스라인 대비 9.5% mAP 향상되었다.
• 3D-SSD는 SUN RGB-D 데이터셋에서 최신 기술인 Deep Sliding Shape 대비 mAP가 10.2% 높고, 추론 속도는 88배 빠르게 성능을 냈다.
• NYUv2 데이터셋에서 3D-SSD는 최신 기술 수준의 정확도를 달성했지만, 더 작은 입력 크기임에도 불구하고 추론 속도는 386배 빠르게 성능을 냈다.
• RGB에 깊이 또는 HHA 특징을 융합하면 검출 성능이 향상되며, 특히 텍스처가 낮은 물체(욕조, 침대 등)에서 두드러진 성능 향상이 관찰되었다.
• 이중 단계 계층적 융합 전략이 최적의 정확도를 제공하며, 성능 포화에 도달하는 데 충분하며, 더 깊은 융합에서는 추가 이득이 없었다.
• 2D 진짜값을 사용한 양성 샘플 매칭은 깊이 기반 추정 대비 더 나은 수렴과 강건성을 보였다.