[논문 리뷰] PVNet: A Joint Convolutional Network of Point Cloud and Multi-View for 3D Shape Recognition

Haoxuan You, Yifan Feng외 2명|arXiv (Cornell University)|2018. 08. 23.

3D Shape Modeling and Analysis참고 문헌 30인용 수 33

한 줄 요약

PVNet는 3D 모양 인식을 위한 점군과 다중 시점 표현을 통합하는 새로운 병렬 컨볼루션 네트워크로, 다중 시점 데이터로부터의 고수준 전역 특징을 활용하여 점군 내 국소 구조 특징 학습을 향상시키기 위해 임bedding 주의 퓨전 메커니즘을 사용한다. 이 방법은 ModelNet40에서 3D 모양 분류 및 검색 작업 모두에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

3D object recognition has attracted wide research attention in the field of multimedia and computer vision. With the recent proliferation of deep learning, various deep models with different representations have achieved the state-of-the-art performance. Among them, point cloud and multi-view based 3D shape representations are promising recently, and their corresponding deep models have shown significant performance on 3D shape recognition. However, there is little effort concentrating point cloud data and multi-view data for 3D shape representation, which is, in our consideration, beneficial and compensated to each other. In this paper, we propose the Point-View Network (PVNet), the first framework integrating both the point cloud and the multi-view data towards joint 3D shape recognition. More specifically, an embedding attention fusion scheme is proposed that could employ high-level features from the multi-view data to model the intrinsic correlation and discriminability of different structure features from the point cloud data. In particular, the discriminative descriptions are quantified and leveraged as the soft attention mask to further refine the structure feature of the 3D shape. We have evaluated the proposed method on the ModelNet40 dataset for 3D shape classification and retrieval tasks. Experimental results and comparisons with state-of-the-art methods demonstrate that our framework can achieve superior performance.

연구 동기 및 목표

• 기존 3D 모양 인식 모델이 점군과 다중 시점 데이터를 별도로 다루는 데서 비롯하는 한계를 해결하기 위해.
• 다중 시점 네트워크에서 유도된 고수준 전역 특징이 점군 기반 모델의 국소 특징 학습을 어떻게 향상시킬 수 있는지 탐색하기 위해.
• 양측 표현을 공동으로 활용하여 향상된 3D 모양 인식을 위한 통합 프레임워크를 설계하기 위해.
• 다중 시점 입력의 전역 맥락에 기반하여 국소 구조적 특징을 적응적으로 가중하는 학습 가능한 주의 메커니즘을 개발하기 위해.

제안 방법

• 프레임워크는 순서가 없는 점군에서 국소 기하학적 특징을 추출하기 위해 공간 변환 네트워크와 EdgeConv를 사용하는 점군 브랜치로 구성된다.
• 다중 시점 브랜치는 12개의 사전 정의된 카메라 시점에서 전역 특징을 생성하기 위해 가중치 공유 컨볼루션 신경망(MVCNN)과 시점 풀링을 활용한다.
• 임베딩 네트워크는 다중 시점 전역 특징을 점군 특징의 부분공간에 투영하여 이질성 간 융합을 가능하게 한다.
• 임베딩된 전역 특징과 국소 점군 특징을 융합하여 소프트 주의 마스크를 생성하는 주의 퓨전 블록은 구분력 있는 국소 구조를 적응적으로 강조한다.
• 주의 마스크는 잔여 방식으로 적용되어 점군 특징을 정밀하게 개선하고, 관련 없는 특징은 억제한다.
• 양 브랜치의 최종 특징은 연결되어 완전히 연결된 레이어에 공급되어 분류 및 검색 작업을 수행한다.

실험 결과

연구 질문

• RQ1 다중 시점 표현에서 유도된 고수준 전역 특징이 점군 기반 3D 모양 인식의 국소 특징 학습을 향상시킬 수 있는가?
• RQ2 점군과 다중 시점 데이터는 어떻게 효과적으로 융합되어 3D 모양 표현에서 상호 보완적인 강점을 발휘할 수 있는가?
• RQ3 임베딩된 전역 특징에 기반한 주의 메커니즘이 국소 점군 특징의 구분 능력을 향상시킬 수 있는가?
• RQ4 점군과 다중 시점 데이터의 공동 학습은 단일 모odal 접근 방식보다 3D 모양 분류 및 검색 성능을 향상시키는가?

주요 결과

• PVNet는 ModelNet40 데이터셋에서 3D 모양 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기존의 점군 전용 및 다중 시점 전용 모델을 모두 능가한다.
• 제안된 임베딩 주의 퓨전 메커니즘은 전역 맥락에 기반하여 국소 구조적 특징을 적응적으로 가중화함으로써 특징의 구분 능력을 크게 향상시켰다.
• 제거 실험 결과, 주의 퓨전 및 점군과 다중 시점 데이터의 공동 학습이 성능 향상에 기여한다는 것이 확인되었다.
• 프레임워크는 점군 및 다중 시점 브랜치의 다양한 백본 아키텍처에 대해 강건성과 일반화 능력을 보였다.
• 우수한 검색 성능을 달성하여, 압축적이고 구분력 있는 3D 모양 표현을 효과적으로 학습하고 있음을 시사한다.