[논문 리뷰] Multiple Discrimination and Pairwise CNN for View-based 3D Object Retrieval

Zan Gao, Kaixin Xue외 1명|arXiv (Cornell University)|2020. 02. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 4

한 줄 요약

이 논문은 슬라이스 및 컨카트 레이어를 사용해 동시에 여러 배치와 여러 시점을 처리함으로써 특징의 분류 능력을 향상시키는 새로운 쌍체 CNN 프레임워크인 MDPCNN을 제안한다. 군집화를 통한 하드 샘플 마이닝과 함께 대비 손실 및 중심 대비 손실을 동시에 최적화함으로써 ModelNet40, MVRED, NTU60 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, mAP 향상 최대 87.6%를 기록한다.

ABSTRACT

With the rapid development and wide application of computer, camera device, network and hardware technology, 3D object (or model) retrieval has attracted widespread attention and it has become a hot research topic in the computer vision domain. Deep learning features already available in 3D object retrieval have been proven to be better than the retrieval performance of hand-crafted features. However, most existing networks do not take into account the impact of multi-view image selection on network training, and the use of contrastive loss alone only forcing the same-class samples to be as close as possible. In this work, a novel solution named Multi-view Discrimination and Pairwise CNN (MDPCNN) for 3D object retrieval is proposed to tackle these issues. It can simultaneously input of multiple batches and multiple views by adding the Slice layer and the Concat layer. Furthermore, a highly discriminative network is obtained by training samples that are not easy to be classified by clustering. Lastly, we deploy the contrastive-center loss and contrastive loss as the optimization objective that has better intra-class compactness and inter-class separability. Large-scale experiments show that the proposed MDPCNN can achieve a significant performance over the state-of-the-art algorithms in 3D object retrieval.

연구 동기 및 목표

• 다양한 조명 조건과 시점에서 성능이 불안정한 수작업 특징에 의존하는 기존 3D 객체 검색 방법의 한계를 해결하기 위해.
• 현재의 딥 러닝 기반 검색 네트워크에서 다중 시점 이미지 선택에 대한 고려가 부족하고 클래스 간 분리성이 부족한 문제를 해결하기 위해.
• 더 나은 검색 정확도를 위해 내부 클래스의 응집성과 외부 클래스의 분리성을 향상시키는 엔드 투 엔드, 고도로 분류 능력이 뛰어난 CNN 아키텍처를 개발하기 위해.
• 다중 배치 학습, 하드 샘플 선택, 병합된 손실 함수의 영향이 검색 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 학습 중에 동시에 여러 배치와 여러 시점을 처리할 수 있도록 슬라이스 및 컨카트 레이어를 사용하는 새로운 네트워크 아키텍처인 MDPCNN을 도입한다.
• 클러스터링 기반의 샘플 선택 전략을 활용해 분류가 어려운 샘플을 식별하고 우선순위를 정함으로써 쌍체 학습에서 모델의 분류 능력을 향상시킨다.
• 내부 클래스의 응집성과 외부 클래스의 분리성을 향상시키기 위해 대비 손실과 중심 대비 손실을 결합한 이중 손실 함수를 적용한다.
• 딥 페처의 후처리를 방지하고 검색 성능를 직접 최적화할 수 있도록 엔드 투 엔드 학습 프레임워크를 활용한다.
• 동일한 3D 객체의 여러 시점에서 유도된 양성 및 음성 쌍을 사용한 쌍체 학습을 구현함으로써 훈련 샘플의 다양성을 증가시킨다.
• 더욱 향상된 특징 표현을 위해 저랭크 마할라노비스 거리 측정 기반 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 슬라이스 및 컨카트 레이어를 통한 다중 배치 및 다중 시점 입력이 3D 객체 검색 네트워크의 학습 동역학과 성능에 어떤 영향을 미치는가?
• RQ2 클러스터링 기반 하드 샘플 마이닝이 시점 기반 3D 검색에서 모델의 분류 능력을 얼마나 향상시키는가?
• RQ3 대비 손실과 중심 대비 손실의 병합이 내부 클래스 응집성과 외부 클래스 분리성에 기여하는 방식은 무엇인가?
• RQ4 배치 구조, 샘플 선택, 손실 함수 설계가 전체 검색 정확도에 기여하는 상대적 기여도는 어느 정도인가?

주요 결과

• MDPCNN는 ModelNet40 데이터셋에서 평균 평균 정확도(mAP) 87.6%를 달성하여 최신 기술 수준(SOTA) 방법을 크게 능가한다.
• 제거 분석 결과, 단일 배치 학습 대비 다중 배치 구조만으로도 성능 향상이 확인되었으며, 하드 샘플 선택을 추가로 적용함으로써 추가적인 성능 향상이 이루어졌다.
• 클러스터링 기반 샘플 선택 방법은 가장 분류가 어려운 샘플에 집중함으로써 모델의 일반화 능력을 향상시켜 명확한 성능 향상을 이끌어냈다.
• 대비 손실과 중심 대비 손실의 공동 최적화가 특징의 분류 능력을 크게 향상시켰으며, 특히 MVRED 및 NTU60 데이터셋에서 두드러진 효과를 보였다.
• 네트워크는 빠른 수렴을 보였으며, ETH에서는 3 에포크 내에 수렴했고, MVRED 및 NTU60에서는 5 에포크 내에 수렴하여 강력한 학습 안정성을 보였다.
• 제안된 방법은 ModelNet40, MVRED, NTU60를 포함한 다양한 벤치마크 데이터셋에서 강건성과 확장성을 입증하였다.