[논문 리뷰] Multi-Resolution 3D Convolutional Neural Networks for Object Recognition

Sambit Ghadai, Xian Yeow Lee외 3명|arXiv (Cornell University)|2018. 05. 30.

3D Shape Modeling and Analysis참고 문헌 6인용 수 9

한 줄 요약

이 논문은 고해상도 3D 데이터로부터 효율적으로 고해상도 특징을 학습하기 위해 계층적 볼록체 표현을 사용하는 다중 해상도 3D 컨볼루션 신경망을 제안한다. 거친 격자와 미세한 격자를 조합함으로써, 균일한 격자나 복잡한 옥트리 구조에 의존하지 않고 메모리 효율성과 향상된 특징 캡처를 달성한다. 이는 희소한 데이터에서 효과적인 3D 객체 인식을 가능하게 한다.

ABSTRACT

Learning from 3D Data is a fascinating idea which is well explored and studied in computer vision. This allows one to learn from very sparse LiDAR data, point cloud data as well as 3D objects in terms of CAD models and surfaces etc. Most of the approaches to learn from such data are limited to uniform 3D volume occupancy grids or octree representations. A major challenge in learning from 3D data is that one needs to define a proper resolution to represent it in a voxel grid and this becomes a bottleneck for the learning algorithms. Specifically, while we focus on learning from 3D data, a fine resolution is very important to capture key features in the object and at the same time the data becomes sparser as the resolution becomes finer. There are numerous applications in computer vision where a multi-resolution representation is used instead of a uniform grid representation in order to make the applications memory efficient. Though such methods are difficult to learn from, they are much more efficient in representing 3D data. In this paper, we explore the challenges in learning from such data representation. In particular, we use a multi-level voxel representation where we define a coarse voxel grid that contains information of important voxels(boundary voxels) and multiple fine voxel grids corresponding to each significant voxel of the coarse grid. A multi-level voxel representation can capture important features in the 3D data in a memory efficient way in comparison to an octree representation. Consequently, learning from a 3D object with high resolution, which is paramount in feature recognition, is made efficient.

연구 동기 및 목표

• 균일한 볼록체 격자 대신 다중 수준 표현을 사용하여 3D 딥러닝에서의 메모리와 해상도 간의 상충 관계를 해결하고자 한다.
• 특히 객체 경계와 같은 중요한 영역에서 세밀한 세부 정보를 캡처함으로써 3D 데이터의 특징 학습을 향상시키고자 한다.
• 전체 고해상도 격자에 대한 계산 부담 없이도 희소한 3D 데이터(예: LiDAR, CAD 모델)로부터 효율적으로 학습할 수 있도록 하고자 한다.
• 옥트리 기반 방법의 한계를 극복하기 위해 더 체계적이고 학습 가능한 다중 해상도 볼록체 계층을 사용하고자 한다.

제안 방법

• 이 방법은 거친 볼록체 격자를 사용해 핵심 영역, 특히 경계 볼록체를 식별하고, 이를 국소적인 미세한 격자로 정밀화한다.
• 거친 격자 내에서 중요한 볼록체 각각은 더 높은 해상도의 격자와 연결되어 국소적인 고세부 특징 추출이 가능하다.
• 네트워크는 먼저 거친 격자를 처리한 후, 주목할 만한 영역에 해당하는 미세한 격자에 대해 3D 컨볼루션을 적용함으로써 계층적 특징 학습을 가능하게 한다.
• 다중 해상도 특징은 연결 또는 스케잎 연결을 통해 통합되어 다양한 척도 간의 공간적 맥락을 유지한다.
• 균일한 격자 표현을 피함으로써 메모리 사용을 줄이면서도 필요한 곳에만 고해상도 세부 정보를 유지한다.
• 모델은 표준 3D CNN 손실 함수를 사용하여 훈련되며, 모든 해상도 수준에서 엔드 투 엔드 최적화가 수행된다.

실험 결과

연구 질문

• RQ1 과도한 메모리 사용 없이 고해상도 3D 데이터로부터 효율적으로 학습할 수 있는 3D 컨볼루션 네트워크의 설계는 어떻게 이루어질 수 있는가?
• RQ2 계층적 볼록체 표현이 균일한 격자나 옥트리보다 3D 객체 인식을 위한 주목할 만한 특징을 더 잘 캡처할 수 있는가?
• RQ3 거친 격자에서 경계 볼록체에 집중하는 것이 전체 해상도 처리에 비해 특징 학습에 얼마나 더 효과적인가?
• RQ4 거친 격자와 미세한 격자 간의 다중 수준 특징 학습이 희소한 3D 데이터에서의 인식 정확도에 어떤 영향을 미치는가?
• RQ5 비균일하고 적응형 해상도 전략은 계산 비용을 줄이면서도 성능을 유지할 수 있는가?

주요 결과

• 제안된 다중 해상도 접근법은 객체 경계와 같은 주목할 만한 영역에 계산 자원을 집중시킴으로써 더 나은 특징 표현을 달성한다.
• 전체 고해상도 볼록체 격자에 비해 메모리 소비를 줄였지만 중요한 구조적 세부 정보를 유지한다.
• 핵심 볼록체에 국소적인 미세 격자를 사용함으로써, 균일한 격자 기반 베이스라인에 비해 더 효과적으로 세밀한 특징을 캡처한다.
• 계층적 볼록체 구조는 LiDAR 및 포인트 클라우드와 같은 희소한 3D 데이터로부터 효율적인 학습을 가능하게 하며, 인식 정확도를 저하시키지 않는다.
• 다양한 척도에서의 처리를 통해 거친 수준의 맥락과 미세한 수준의 세부 정보를 조합함으로써, 3D 객체 인식 작업에서 향상된 성능을 보였다.