[논문 리뷰] Dominant Set Clustering and Pooling for Multi-View 3D Object Recognition

Chu Wang, Marcello Pelillo외 1명|arXiv (Cornell University)|2019. 06. 04.

Human Pose and Action Recognition참고 문헌 21인용 수 37

한 줄 요약

다중 뷰 CNN 특징을 융합하기 위한 순환 dominant-set 클러스터링 및 풀링 계층을 도입하여 ModelNet40에서의 3D 객체 인식 정확도를 최첨단 수준으로 향상시킨다.

ABSTRACT

View based strategies for 3D object recognition have proven to be very successful. The state-of-the-art methods now achieve over 90% correct category level recognition performance on appearance images. We improve upon these methods by introducing a view clustering and pooling layer based on dominant sets. The key idea is to pool information from views which are similar and thus belong to the same cluster. The pooled feature vectors are then fed as inputs to the same layer, in a recurrent fashion. This recurrent clustering and pooling module, when inserted in an off-the-shelf pretrained CNN, boosts performance for multi-view 3D object recognition, achieving a new state of the art test set recognition accuracy of 93.8% on the ModelNet 40 database. We also explore a fast approximate learning strategy for our cluster-pooling CNN, which, while sacrificing end-to-end learning, greatly improves its training efficiency with only a slight reduction of recognition accuracy to 93.3%. Our implementation is available at https://github.com/fate3439/dscnn.

연구 동기 및 목표

• 다중 뷰 3D 객체 인식을 winner-take-all 풀링을 넘어 개선하자는 동기를 제시한다.
• 유사한 뷰를 융합하기 위한 dominant sets 기반의 뷰 클러스터링 및 풀링 계층을 개발한다.
• 사전 학습된 CNN과의 통합으로 엔드 투 엔드 또는 빠른 학습이 가능하도록 계층을 도입하여 정확도를 향상시킨다.

제안 방법

• 뷰 피처 벡터(relu 출력)인 노드로 구성된 뷰 유사도 그래프를 구성하고 간선 가중치를 CNN 피처의 내적 값으로 설정한다.
• replicator dynamics 기반 알고리즘으로 dominant set을 추출하여 일관된 뷰 클러스터를 형성한다.
• 각 dominant set 내에서 풀링(최대 또는 평균)을 수행하고 결과를 재귀적 정제를 위해 다시 전달하여 클러스터가 안정될 때까지 반복한다.
• 사전 학습된 VGG-M 네트워크의 relu6/relu7 뒤에 순환 클러스터링 및 풀링 계층을 부착하고 전체 스트라이드 풀링을 수행하여 통합된 다중 뷰 피처 벡터를 생성한다.
• 순환 계층 주위의 CNN 계층을 미세 조정하여 엔드 투 엔드로 학습하는 방법으로 옵션적으로 학습하고, 빠른 학습 변형은 효율성을 위해 엔드 투 엔드 학습을 생략한다.
• 정확도를 높이기 위해 RGB와 함께 깊이(depth), 표면 법선(surf)을 추가한 다양한 피처 모달리티를 탐색한다.

실험 결과

연구 질문

• RQ1 dominant-set 기반 클러스터링이 최대풀링이나 쌍별 뷰 방식보다 다중 뷰 피처 융합을 개선하는가?
• RQ2 순환 클러스터링 및 풀링 계층을 사전 학습된 CNN에 삽입하여 다중 뷰 인식을 위한 엔드 투 엔드 학습 가능 네트워크를 얻을 수 있는가?
• RQ3 뷰 수 증가와 추가 모듈의 포함이 ModelNet40에서의 인식 성능에 어떤 영향을 미치는가?
• RQ4 빠른 학습과 엔드 투 엔드 학습 간의 트레이드오프가 정확도에 어떤 차이를 만드는가?

주요 결과

• RGB 뷰와 순환 클러스터링 및 풀링 계층을 사용하여 ModelNet40에서 93.8%의 전체 세트 정확도를 달성했다.
• 엔드 투 엔드 학습은 RGB 뷰에서 빠른 학습보다 높은 정확도(전체 세트 92.2%)를 보였다.
• RGB에 깊이(depth)와 표면 법선(surf)을 결합하면 빠른 학습에서 전체 세트 정확도가 93.3%, 엔드 투 엔드 학습에서 93.8%로 상승한다.
• 뷰 수를 늘리는 것이 제안된 방법의 성능을 일반적으로 향상시키며, MVCNN 대비 뷰 수에 따른 일관된 이점을 보인다.
• 빠른 학습은 에포크당 비용을 크게 줄이지만 엔드 투 엔드 학습에 비해 정확도가 약간 떨어진다.
• 동일한 설정에서 이 방법은 ModelNet40에서 MVCNN 및 관련 접근법보다 우수한 성능을 보인다.