[논문 리뷰] Inferring 3D Object Pose in RGB-D Images

Saurabh Gupta, Pablo Arbeláez외 2명|arXiv (Cornell University)|2015. 02. 16.

Advanced Neural Network Applications참고 문헌 18인용 수 30

한 줄 요약

이 논문은 합성 RGB-D 이미지와 픽셀 노멀을 사용하여 합성 데이터 기반으로 훈련된 컨volution 신경망(CNN)을 활용해 RGB-D 이미지 내 3D 객체 자세를 추론하는 새로운 방법을 제안한다. 이 방법은 실제 데이터로 훈련된 모델보다 성능이 뛰어나며, 개체 분할, CNN 기반 자세 추정, ICP 기반 모델 정렬을 결합하여 기존 최고 수준의 성능 대비 3D 검출 성능에서 48%의 상대적 향상을 이룬다. 또한 기존 방법보다 한 단계 빠르다.

ABSTRACT

The goal of this work is to replace objects in an RGB-D scene with corresponding 3D models from a library. We approach this problem by first detecting and segmenting object instances in the scene using the approach from Gupta et al. [13]. We use a convolutional neural network (CNN) to predict the pose of the object. This CNN is trained using pixel normals in images containing rendered synthetic objects. When tested on real data, it outperforms alternative algorithms trained on real data. We then use this coarse pose estimate along with the inferred pixel support to align a small number of prototypical models to the data, and place the model that fits the best into the scene. We observe a 48% relative improvement in performance at the task of 3D detection over the current state-of-the-art [33], while being an order of magnitude faster at the same time.

연구 동기 및 목표

• 로봇이 혼잡한 실내 환경에서 상호작용할 수 있도록, 검출된 객체를 정확한 3D CAD 모델로 대체하는 것을 목적으로 한다.
• 기존의 경계 상자나 세그멘테이션 마스크와 같은 출력 방식이 그립 계획이나 운동 최적화와 같은 로봇 작업에 부족하다는 점을 해결하기 위한 것이다.
• 합성 데이터 기반으로 훈련된 CNN에서 유도된 근사 자세 추정치와 3D 모델 정렬을 통해 3D 검출 성능을 향상시키는 것이다.
• 합성 데이터 기반으로 훈련할 때 정규 이미지(normal images)를 사용하면 실제 데이터 기반 훈련보다 더 우수한 일반화 성능을 달성할 수 있음을 입증하는 것이다.

제안 방법

• Gupta 등 [13]의 사전 훈련된 객체 검출 및 개체 세분화 시스템을 사용해 객체 제안과 픽셀 수준의 마스크를 생성한다.
• 심층 신경망(CNN)을 합성 RGB-D 이미지와 픽셀 노멀을 입력으로 사용하여 3D 객체 자세를 예측하도록 훈련한다. 깊이 맵 대신 노멀 이미지를 사용한다.
• CNN의 상위 2개 자세 추정치를 사용해 이격된 최소 제곱법(ICP) 최적화를 통한 모델 정렬 단계의 초기화로 활용한다.
• 세그멘테이션된 객체에 가장 잘 맞는 모델을 찾기 위해 소규모 3D CAD 모델 라이브러리, 스케일, 공간 배치를 검색하여 모델 피팅을 수행한다.
• 두 단계의 정밀화를 수행한다: 먼저 CNN을 통한 근사 자세 예측, 그 다음 3D 모델 기반 ICP 정렬을 통해 정확도를 향상시킨다.
• 세그멘테이션 마스크의 2D 애너테이션과 깊이 정보를 활용해 3D 시나리오 표현을 풍부하게 만들지만, 3D 애너테이션은 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 정규 이미지를 입력으로 사용해 합성 RGB-D 데이터 기반으로 훈련된 CNN이 실제 데이터 기반 훈련된 모델보다 실제 세계의 3D 자세 추정에 더 잘 일반화되는가?
• RQ2 특정 카테고리 수준에서, 특히 개체 수준이 아닌 카테고리 수준에서, CNN에서 유도된 근사 자세 추정치로 초기화된 ICP 기반 모델 정렬의 효과는 어떠한가?
• RQ3 불완전하거나 노이즈가 있는 개체 세그멘테이션 상황에서 3D 모델 배치 성능은 어느 정도 떨어지는가?
• RQ4 2D 애너테이션과 깊이 정보로부터 3D 모델을 추론하는 시스템이 기존 방법보다 뛰어난 3D 검출 성능을 달성할 수 있는가?
• RQ5 초기화 품질, 자세 추정 후보 수, 모델 라이브러리의 다양성이 최종 3D 모델 정렬 정확도에 어떤 영향을 미치는가?

주요 결과

• 정규 이미지를 입력으로 사용해 합성 데이터 기반으로 훈련된 CNN은 실제 데이터 기반 훈련 모델보다 성능이 뛰어나며, 기존 최고 수준의 성능 대비 3D 검출 성능에서 48%의 상대적 향상을 달성한다.
• 검출 설정에서 t_agree = ∞ 일 때 평균 정밀도(AP)는 28.2%이며, t_agree = 7 일 때는 14.4%로 나타나 세그멘테이션 노이즈에 대해 강건함을 입증한다.
• 정답 세그멘테이션을 사용한 상황에서도 모델 배치 작업의 성능은 48.5% AP^m에 도달하여 실제 데이터에 3D 모델을 피팅하는 데 어려움이 있음을 시사한다.
• 현재 최고 수준의 방법 [33]이 1장의 이미지당 카테고리별로 약 25분이 소요되는 데 비해, 본 방법은 최소한 한 단계 빠르다.
• 단일 자세 후보 대비 두 개의 자세 후보를 사용할 경우 성능이 6% 포인트 향상되며, 적절한 초기화가 ICP 수렴에 크게 기여한다.
• 수동으로 선택한 모델 라이브러리는 다양한 형태의 변형을 반영하고 있어 무작위 선택보다 더 좋은 성능을 내며, 모델 수가 많아질수록 성능이 향상되지만 수익 감소 효과가 나타난다.