[논문 리뷰] 3D ShapeNets for 2.5D Object Recognition and Next-Best-View Prediction

Zhirong Wu, Shuran Song외 3명|arXiv (Cornell University)|2014. 06. 22.

Advanced Vision and Imaging참고 문헌 21인용 수 93

한 줄 요약

이 논문은 대규모 3D 그래픽스 데이터셋에서 훈련된 학습된 형태 표현을 활용하여 3D 볼록 격자 위의 확률 분포로 3D 형태를 표현하는 컨volutional 딥 벨리프 네트워크(CDBN)를 사용하는 3D ShapeNet 모델을 제안한다. 이는 강건한 2.5D 객체 인식과 지능적인 다음 최적의 시야 예측을 가능하게 한다. 학습된 형태 표현을 통해 인식 정확도 향상과 불확실성 감소를 달성한다.

ABSTRACT

3D shape is a crucial but heavily underutilized cue in object recognition, mostly due to the lack of a good generic shape representation. With the recent boost of inexpensive 2.5D depth sensors (e.g. Microsoft Kinect), it is even more urgent to have a useful 3D shape model in an object recognition pipeline. Furthermore, when the recognition has low confidence, it is important to have a fail-safe mode for object recognition systems to intelligently choose the best view to obtain extra observation from another viewpoint, in order to reduce the uncertainty as much as possible. To this end, we propose to represent a geometric 3D shape as a probabil-ity distribution of binary variables on a 3D voxel grid, using a Convolutional Deep Belief Network. Our model naturally supports object recognition from 2.5D depth map and also view planning for object recognition. We construct a large-scale 3D computer graphics dataset to train our model, and conduct extensive experiments to study this new representation. 1

연구 동기 및 목표

• 객체 인식을 위해 기하학적 구조를 효과적으로 포착하는 일반적인 3D 형태 표현을 개발하기 위해.
• 낮은 신뢰도의 객체 인식 문제를 해결하기 위해 지능적인 다음 최적의 시야 선택을 통해 불확실성을 감소시키기 위해.
• 실제 실시간 인식 응용을 위해 마이크로소프트 컨택과 같은 센서에서 제공하는 2.5D 깊이 데이터를 활용하기 위해.
• 인식과 능동적 인지 모두를 지원하는 확장 가능하고 학습 가능한 형태 표현을 만들기 위해.
• 대규모 3D 컴퓨터 그래픽스 데이터셋에서 모델을 훈련하고 평가하여 강건한 성능을 확보하기 위해.

제안 방법

• 기하학적 구조를 인코딩하기 위해 3D 볼록 격자 위의 이진 변수에 대한 확률 분포로 3D 형태를 표현하기 위해.
• 볼록 기반의 형태 표현에서 계층적이고 생성적인 특징을 학습하기 위해 컨volutional 딥 벨리프 네트워크(CDBN)를 사용하기 위해.
• 형태 사전 지식을 포착하고 인식 성능을 향상시키기 위해 대규모 3D 그래픽스 데이터셋에서 CDBN을 엔드 투 엔드로 훈련하기 위해.
• 깊이 맵을 네트워크의 입력으로 처리하여 학습된 모델을 2.5D 객체 인식에 적응시키기 위해.
• 다음 최적의 시야 계획을 안내하기 위해 인식 파이프라인에 불확실성 추정을 통합하기 위해.
• 모델의 불확실성에 기반하여 기대 정보 양을 최대화하는 방식으로 다음 최적의 시야를 선택하기 위해.

실험 결과

연구 질문

• RQ1 볼록 기반의 이진 확률 분포를 사용하여 딥 생성 모델이 3D 형태를 효과적으로 표현할 수 있는가?
• RQ2 제안된 3D ShapeNet 모델은 기존의 기준 방법 대비 2.5D 객체 인식에서 얼마나 잘 성능을 내는가?
• RQ3 지능적인 다음 최적의 시야 선택을 통해 모델이 인식 불확실성을 어느 정도 감소시킬 수 있는가?
• RQ4 학습된 형태 표현은 다양한 3D 객체 카테고리에 걸쳐 얼마나 확장 가능하고 일반화 가능한가?
• RQ5 3D 형태 표현은 능동적 인지와 불확실성 감소에 어떤 영향을 미치는가?

주요 결과

• 제안된 3D ShapeNet 모델은 전통적인 형태 기반 기술을 사용하는 기준 방법 대비 2.5D 깊이 맵에서 더 높은 인식 정확도를 달성한다.
• 학습된 불확실성 추정 기반으로 유의미한 다음 최적의 시야를 선택함으로써 모델이 객체 인식의 불확실성을 효과적으로 감소시킨다.
• 생성적 딥 벨리프 네트워크의 사용으로 수동적인 공학 없이도 원시 볼록 표현에서 강건한 특징 학습이 가능해졌다.
• 훈련에 사용된 대규모 3D 그래픽스 데이터셋은 다양한 객체 카테고리 간 일반화를 지원한다.
• 시야 계획을 통한 능동적 인지 통합은 낮은 신뢰도 상황에서의 인식 신뢰도를 크게 향상시킨다.
• 통합된 3D 형태 표현을 사용하여 인식 및 시야 계획 작업 양쪽 모두에서 뛰어난 성능을 보였다.