[논문 리뷰] Triplet-Center Loss for Multi-View 3D Object Retrieval

Xinwei He, Yang Zhou외 3명|arXiv (Cornell University)|2018. 03. 16.

3D Shape Modeling and Analysis참고 문헌 33인용 수 39

한 줄 요약

이 논문은 다중 시각 3D 객체 검색에서 특징의 구분 능력을 향상시키기 위해 트리플릿 손실과 센터 손실을 조합한 새로운 메트릭 학습 손실인 트리플릿-센터 손실(TCL)을 제안한다. 내부 클래스 분산을 최소화하고 외부 클래스 간 거리를 최대화함으로써 TCL은 ModelNet40, ShapeNet Core55 및 스케치 기반 벤치마크에서 검색 성능을 크게 향상시키며, 최신 기술 대비 mAP에서 최대 5% 향상된 성능을 기록한다.

ABSTRACT

Most existing 3D object recognition algorithms focus on leveraging the strong discriminative power of deep learning models with softmax loss for the classification of 3D data, while learning discriminative features with deep metric learning for 3D object retrieval is more or less neglected. In the paper, we study variants of deep metric learning losses for 3D object retrieval, which did not receive enough attention from this area. First , two kinds of representative losses, triplet loss and center loss, are introduced which could learn more discriminative features than traditional classification loss. Then, we propose a novel loss named triplet-center loss, which can further enhance the discriminative power of the features. The proposed triplet-center loss learns a center for each class and requires that the distances between samples and centers from the same class are closer than those from different classes. Extensive experimental results on two popular 3D object retrieval benchmarks and two widely-adopted sketch-based 3D shape retrieval benchmarks consistently demonstrate the effectiveness of our proposed loss, and significant improvements have been achieved compared with the state-of-the-arts.

연구 동기 및 목표

• 딥 메트릭 학습 손실이 3D 객체 검색, 특히 다중 시각 설정에서 다소 간과된 활용을 해결하기 위해.
• 기존의 소프트맥스 분류 손실 대신 트리플릿 손실과 센터 손실의 효과성을 3D 검색에서 조사하기 위해.
• 내부 클래스의 응집력과 외부 클래스의 분리도를 향상시켜 검색 성능을 향상시키기 위한 통합된 손실 함수를 설계하기 위해.
• 제안된 손실이 시각 기반, 모델 기반, 스케치 기반 3D 검색 작업 전반에 걸쳐 일반화되는지를 입증하기 위해.

제안 방법

• 각 클래스에 대한 중심을 학습하고, 동일한 클래스의 특징이 다른 클래스 중심보다 가까워지도록 하는 트리플릿-센터 손실(TCL)을 제안한다.
• 마진 기반 트리플릿 손실과 센터 기반 정규화를 갖는 센터 손실을 결합하여 내부 클래스 분산을 최소화하고 외부 클래스 간 마진을 최대화한다.
• 멀티뷰 컨volution 네트워크(MVCNN) 프레임워크에 TCL을 통합하여 엔드 투 엔드 학습을 가능하게 하여 다중 시각 투영에서 특징 추출과 메트릭 학습을 동시에 수행한다.
• TCL을 시각 기반 네트워크뿐 아니라 PointNet 및 VoxNet과 같은 모델 기반 아키텍처에도 적용하여 일반화 능력을 평가한다.
• 마진 기반 최적화 목표를 사용한다: 각 앵커 샘플에 대해 해당 클래스 중심까지의 거리는 최소화하고, 다른 클래스 중심까지의 거리는 최대화한다.
• 표준 딥 러닝 평가 지표(mAP, NN, FT, ST, DCG, E)를 사용하여 여러 벤치마크에서 검색 성능을 평가한다.

실험 결과

연구 질문

• RQ1 트리플릿 손실과 센터 손실이 다중 시각 3D 객체 검색에 효과적으로 적용되어 기존의 소프트맥스 기반 분류 손실을 초월할 수 있는가?
• RQ2 트리플릿 손실과 센터 손실을 하나의 목적 함수(TCL)로 통합하면, 개별 손실보다 더 높은 특징의 구분 능력을 얻을 수 있는가?
• RQ3 ModelNet40 및 ShapeNet Core55와 같은 표준 3D 검색 벤치마크에서 TCL은 최신 기술 대비 어떻게 성능을 발휘하는가?
• RQ4 스케치를 특수한 시각으로 간주할 때, TCL은 스케치 기반 3D 형태 검색에 일반화될 수 있는가?
• RQ5 다른 입력 표현 방식을 갖는 모델 기반 3D 네트워크(PointNet 및 VoxNet)에서도 TCL은 성능 향상을 이끌 수 있는가?

주요 결과

• SHREC’13 벤치마크에서 TCL은 80.7%의 mAP를 기록하여 이전 최신 기술인 LWBR(75.2%)를 5.5%p 초월했다.
• SHREC’14 벤치마크에서 TCL은 47.7%의 mAP를 기록하여 LWBR(40.1%)를 7.6%p 초월했다.
• ModelNet40에서 소프트맥스 손실과 함께 TCL을 사용한 결과, PointNet 기반으로 74.5% mAP, VoxNet 기반으로 73.2% mAP를 기록하여 기준 모델 대비 3–4% 향상된 성능을 보였다.
• 제안된 TCL은 모든 평가 벤치마크에서 모든 지표(NN, FT, ST, DCG, mAP)에서 일관되게 검색 성능을 향상시켰다.
• 워샤르 스텐 바리센터와 같은 복잡한 표현 없이도 TCL은 뛰어난 성능을 기록하여, 특징 학습에서의 효과성을 입증했다.
• 제거 실험 결과 TCL의 내부 클래스 응집력과 외부 클래스 분리도를 동시에 최적화하는 방식이 기준 손실보다 더 구분 능력 있는 특징을 생성함을 확인했다.