[논문 리뷰] PVRNet: Point-View Relation Neural Network for 3D Shape Recognition

Haoxuan You, Yifan Feng외 4명|arXiv (Cornell University)|2018. 12. 02.

3D Shape Modeling and Analysis참고 문헌 21인용 수 4

한 줄 요약

PVRNet는 학습 가능한 포인트-뷰 관계 점수를 사용하여 포인트 클라우드 및 다중뷰 특징을 융합하는 새로운 3D 모양 인식 프레임워크이다. 포인트-단일뷰 및 포인트-다중뷰 관계를 모두 활용함으로써 특징 표현을 향상시키며, ModelNet40에서 최신 기술 수준(SOTA) 성능을 달성하여 전체 정확도에서 기존 방법보다 최대 1% 향상되었고, 누락된 데이터에 대해 강한 내성도를 보였다.

ABSTRACT

Three-dimensional (3D) shape recognition has drawn much research attention in the field of computer vision. The advances of deep learning encourage various deep models for 3D feature representation. For point cloud and multi-view data, two popular 3D data modalities, different models are proposed with remarkable performance. However the relation between point cloud and views has been rarely investigated. In this paper, we introduce Point-View Relation Network (PVRNet), an effective network designed to well fuse the view features and the point cloud feature with a proposed relation score module. More specifically, based on the relation score module, the point-single-view fusion feature is first extracted by fusing the point cloud feature and each single view feature with point-singe-view relation, then the point-multi-view fusion feature is extracted by fusing the point cloud feature and the features of different number of views with point-multi-view relation. Finally, the point-single-view fusion feature and point-multi-view fusion feature are further combined together to achieve a unified representation for a 3D shape. Our proposed PVRNet has been evaluated on ModelNet40 dataset for 3D shape classification and retrieval. Experimental results indicate our model can achieve significant performance improvement compared with the state-of-the-art models.

연구 동기 및 목표

• 기존 딥 러닝 모델에서 포인트 클라우드 및 다중뷰 3D 데이터 모odal 간 효과적인 융합이 부족한 문제를 해결하기 위해.
• 각각의 뷰가 포인트 클라우드에 대해 가지는 다양성을 모델링하여 보다 분류 능력이 뛰어난 특징 융합을 가능하게 하기 위해.
• 학습된 점수를 활용해 단일뷰 및 다중뷰 관계를 모두 활용함으로써 3D 모양 인식 및 검색 성능을 향상시키기 위해.
• 포인트 클라우드와 뷰 간 상보적 정보를 활용하여 누락된 데이터에 대한 내성도를 향상시키기 위해.

제안 방법

• 관계 점수 모듈은 포인트 클라우드와 각 개별 뷰 간의 관련성을 계산하여, 분류 능력에 따라 선택적 융합을 가능하게 한다.
• 포인트-단일뷰 융합은 각 뷰의 해당 관계 점수를 사용하여 포인트 클라우드와 융합하여 뷰별 융합 특징을 생성한다.
• 포인트-다중뷰 융합은 관계 점수로 순위가 매겨진 가장 관련성이 높은 뷰들을 기반으로 뷰 집합(PVSets)을 구성하고, 이를 포인트 클라우드와 융합하여 통합된 표현을 형성한다.
• 최종 특징 표현은 포인트-단일뷰 및 포인트-다중뷰 융합 특징을 융합하여 얻으며, 이는 분류 능력을 향상시킨다.
• 네트워크는 교차 엔트로피 및 트리플릿 손실을 사용하여 ModelNet40에서 3D 모양 분류 및 검색을 위한 엔드 투 엔드 학습을 수행한다.
• 제거 분석 및 시각화를 통해 관계 기반 융합의 중요성과 점수 모듈의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 포인트 클라우드와 개별 뷰 간의 관계를 모델링하면 3D 모양 특징 표현이 향상되는가?
• RQ2 모든 뷰를 동일하게 취급하는 것보다, 관련성이 높은 뷰들만 포인트 클라우드와 융합하는 것이 더 높은 성능을 낼 수 있는가?
• RQ3 제안된 관계 기반 융합은 3D 모양 인식에서 후기 융합 또는 균일한 다중뷰 융합과 비교해 어떻게 다른가?
• RQ4 PVRNet는 뷰나 포인트 클라우드 데이터가 누락되었을 경우 얼마나 강건한가?

주요 결과

• PVRNet는 ModelNet40에서 전체 정확도 93.61%를 달성하여 최신 기술 수준의 방법보다 전체 정확도에서 최대 1% 향상되었고, 평균 클래스 정확도에서 0.8% 향상되었다.
• 포인트-다중뷰 융합 성능은 관계 점수가 높은 뷰들을 점차 포함함에 따라 92.84%에서 93.61%로 점진적으로 향상되며, 이는 관계 기반 선택의 효과성을 검증한다.
• 단지 4개의 뷰만 사용할 경우 PVRNet는 91% 이상의 정확도를 유지하며, 전체 12개 뷰 입력 대비 2.1% 감소에 그치지만, MVCNN과 GVCNN은 각각 5.3%와 2.3% 감소한다.
• 포인트 클라우드 데이터가 256점으로 줄어들었을 때도 PVRNet는 약 80%의 정확도를 유지하는 반면, DGCNN는 약 50%로 떨어지며, 이는 빈점에 대한 강력한 내성도를 보여준다.
• 관계 점수의 시각화 결과, 높은 점수를 가진 뷰들이 더 정보가 많고 포인트 클라우드와 더 잘 정렬되어 있음을 확인하였으며, 이는 점수 모듈이 의미 있는 상관관계를 포착할 수 있음을 검증한다.
• 제거 분석 결과, 포인트-단일뷰 및 포인트-다중뷰 융합 브랜치 모두 성능 향상에 기여하며, 다중 수준의 관계 모델링의 필요성을 확인한다.