[논문 리뷰] 3D-A-Nets: 3D Deep Dense Descriptor for Volumetric Shapes with Adversarial Networks

Mengwei Ren, Liang Niu외 1명|arXiv (Cornell University)|2017. 11. 28.

3D Shape Modeling and Analysis참고 문헌 33인용 수 25

한 줄 요약

이 논문은 3D 볼륨 데이터에서 다층 밀집 표현(MDR)을 사용하여 깊이 있는 밀집 형태 기술자(3D-DDSD)를 학습하는 새로운 3D 적대적 네트워크인 3D-A-Nets를 제안한다. CNN-RNN 생성자와 적대적 판별자 간의 공동 학습을 통해, ModelNet40에서 3D 형태 분류(90.5% 정확도)와 검색(mAP 0.801) 성능이 기존 볼륨 기반 방법보다 유의하게 뛰어나며, 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Recently researchers have been shifting their focus towards learned 3D shape descriptors from hand-craft ones to better address challenging issues of the deformation and structural variation inherently present in 3D objects. 3D geometric data are often transformed to 3D Voxel grids with regular format in order to be better fed to a deep neural net architecture. However, the computational intractability of direct application of 3D convolutional nets to 3D volumetric data severely limits the efficiency (i.e. slow processing) and effectiveness (i.e. unsatisfied accuracy) in processing 3D geometric data. In this paper, powered with a novel design of adversarial networks (3D-A-Nets), we have developed a novel 3D deep dense shape descriptor (3D-DDSD) to address the challenging issues of efficient and effective 3D volumetric data processing. We developed new definition of 2D multilayer dense representation (MDR) of 3D volumetric data to extract concise but geometrically informative shape description and a novel design of adversarial networks that jointly train a set of convolution neural network (CNN), recurrent neural network (RNN) and an adversarial discriminator. More specifically, the generator network produces 3D shape features that encourages the clustering of samples from the same category with correct class label, whereas the discriminator network discourages the clustering by assigning them misleading adversarial class labels. By addressing the challenges posed by the computational inefficiency of direct application of CNN to 3D volumetric data, 3D-A-Nets can learn high-quality 3D-DSDD which demonstrates superior performance on 3D shape classification and retrieval over other state-of-the-art techniques by a great margin.

연구 동기 및 목표

• 볼륨 데이터에 직접 3D CNN를 적용할 경우 발생하는 계산 비효율성과 제한된 정확도 문제를 해결하기 위해.
• 구조적 변형에 강인하고 기하학적으로 정보적인 3D 형태 기술자를 학습하여 다양한 3D 물체에서 일반화할 수 있도록 하기 위해.
• 적대적 학습과 시공간 특징 모델링을 통해 3D 형태 분류 및 검색 성능을 향상시키기 위해.
• 효율적 특징 추출을 위해 3D 볼륨 격자에 대한 압축적이지만 정보적인 2D 다층 밀집 표현(MDR)을 개발하기 위해.
• CNN, RNN, 그리고 적대적 학습을 통합한 단일 프레임워크를 통해 강력한 3D 형태 기술자 학습을 실현하기 위해.

제안 방법

• 이 방법은 3D 볼륨 격자를 시퀀스 형태의 2D 슬라이스로 투영함으로써 효율적인 CNN 처리를 가능하게 하는 2D 다층 밀집 표현(MDR)을 도입한다.
• CNN-RNN 생성자 네트워크는 MDR 슬라이스에서 계층적 특징을 추출하며, ConvLSTM이 인접한 슬라이스 간의 시공간 의존성을 모델링한다.
• 적대적 판별자는 동일한 카테고리의 실제 특징를 다른 카테고리로 잘못 분류하도록 훈련되어, 생성자가 더 구분력 있는 특징을 학습하도록 유도한다.
• 생성자와 판별자는 적대적 방식으로 공동으로 훈련되어, 클래스 레이블에 따라 특징 군집화가 향상되고 일반화 성능이 향상된다.
• 모델은 경험적으로 모델 복잡도와 성능 간 균형을 고려해 3스ライ스 MDR 구성(configuration)을 사용한다.
• 최종 3D-DDSD는 생성자에서 추출되어 분류 및 검색과 같은 후속 작업에 사용된다.

실험 결과

연구 질문

• RQ1 볼륨 데이터에서 학습한 3D 형태 기술자의 구분 능력을 향상시키기 위해 적대적 학습이 효과적인가?
• RQ2 RNN을 활용해 MDR 슬라이스 간의 공간 관계를 모델링하는 것이 3D 형태 표현에 얼마나 효과적인가?
• RQ3 3D CNN에 비해 계산 비용을 줄이면서도 2D MDR 표현 방식이 높은 성능을 달성할 수 있는가?
• RQ4 제안된 3D-A-Nets 프레임워크는 기존 볼륨 기반 3D 형태 분류 및 검색 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 모델 효율성과 성능을 균형 있게 유지하기 위해 최적의 MDR 슬라이스 수는 얼마인가?

주요 결과

• 제안된 3D-A-Nets는 ModelNet40 벤치마크에서 90.5%의 분류 정확도를 달성하여 이전 최신 기술 수준 방법인 VoxNet(83%)보다 뚜렷이 뛰어났다.
• 3D 형태 검색에서 mAP 0.801을 기록하여 3D ShapeNets(mAP 0.492)와 3D-GAN(보고되지 않음)보다 유의미하게 높았다.
• 절단 실험 결과, 적대적 학습만으로도 CNN 단독 기반의 85.6%에서 88.1%로 정확도가 향상되어 성능 향상에서의 핵심적 역할을 입증했다.
• RNN 구성 요소는 CNN 단독 대비 0.6%의 정확도 향상(87.5% 대 85.6%) 기여하여 시공간 특징 상관관계 모델링의 가치를 확인했다.
• 정밀도-재현율 곡선 비교 결과, 3D-A-Nets는 모든 재현율 수준에서 3D ShapeNets를 뚜렷이 앞섰다.
• 대부분의 경우 정확한 물체를 성공적으로 검색했지만, 시각적으로 유사한 카테고리인 책상과 야간 테이블 간 혼동이 일부 발생했다.