[논문 리뷰] Mitigating the Hubness Problem for Zero-Shot Learning of 3D Objects

Ali Cheraghian, Shafin Rahman외 2명|arXiv (Cornell University)|2019. 07. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 21

한 줄 요약

이 논문은 3D 포인트 클라우드 인식을 위한 제로샷 러닝(ZSL)에서 낮은 품질의 3D 특징이 레이블 편향을 악화시키는 상황에서 휠러스 문제를 완화하기 위해 새로운 기울기 기반 손실을 제안한다. 각 훈련 배치 내 예측의 기울기를 최소화함으로써, ModelNet40, ModelNet10, McGill, SHREC2015에서 최신 기술 성능(SOTA)을 달성하며, 3D 시각에서 표준 ZSL 및 일반화된 ZSL(GZSL)에 대한 첫 번째 종합적 평가를 수립한다.

ABSTRACT

The development of advanced 3D sensors has enabled many objects to be captured in the wild at a large scale, and a 3D object recognition system may therefore encounter many objects for which the system has received no training. Zero-Shot Learning (ZSL) approaches can assist such systems in recognizing previously unseen objects. Applying ZSL to 3D point cloud objects is an emerging topic in the area of 3D vision, however, a significant problem that ZSL often suffers from is the so-called hubness problem, which is when a model is biased to predict only a few particular labels for most of the test instances. We observe that this hubness problem is even more severe for 3D recognition than for 2D recognition. One reason for this is that in 2D one can use pre-trained networks trained on large datasets like ImageNet, which produces high-quality features. However, in the 3D case there are no such large-scale, labelled datasets available for pre-training which means that the extracted 3D features are of poorer quality which, in turn, exacerbates the hubness problem. In this paper, we therefore propose a loss to specifically address the hubness problem. Our proposed method is effective for both Zero-Shot and Generalized Zero-Shot Learning, and we perform extensive evaluations on the challenging datasets ModelNet40, ModelNet10, McGill and SHREC2015. A new state-of-the-art result for both zero-shot tasks in the 3D case is established.

연구 동기 및 목표

• 대규모 사전 훈련이 부족하여 낮은 품질의 3D 특징이 초래하는 문제로 인해 심각한 휠러스 문제를 악화시키는 3D 포인트 클라우드 인식을 위한 제로샷 러닝(ZSL)에서 이 문제를 해결하기 위해.
• 각 훈련 배치 내에서 예측 기울기를 줄임으로써 휠러스를 명시적으로 최소화하는 새로운 손실 함수를 제안하기 위해.
• 기존 3D 시각에서 탐색되지 않은 설정인 3D 포인트 클라우드 분류에 대해 표준 ZSL 및 일반화된 ZSL(GZSL)을 평가하기 위해.
• ModelNet40, ModelNet10, McGill, SHREC2015를 포함한 여러 3D 벤치마크에서 제안된 방법의 유효성을 입증하기 위해.
• 특징 공간에서 의미로의 투영이 의미에서 특징으로의 투영보다 더 효과적인 이유는 특징 공간에서의 휠러스 감소 때문이다.

제안 방법

• 이 방법은 각 훈련 배치 내에서 예측 클래스 빈도의 기울기를 계산하여 휠러스를 정량화하는 새로운 비지도 손실 L_U를 도입한다.
• 훈련 중에 이 손실을 최소화함으로써, 모델이 몇몇 높은 빈도 클래스를 반복적으로 예측하는 경향(휠러스)을 줄인다.
• 기울기는 배치 내 본 적 있는 클래스의 예측 분포에 대한 정규화된 제3차 중심모멘트로 계산되며, 휠러스의 대체 지표로 기능한다.
• 이 방법은 추가적인 감독 신호나 사전 처리 없이도 3D 포인트 클라우드 분류기의 엔드 투 엔드 훈련 중에 적용된다.
• 이 방법은 표준 ZSL 및 일반화된 ZSL(GZSL) 모두와 호환되며, 추론 시 본 적 있는 클래스와 본 적 없는 클래스가 모두 존재하는 환경에서 적용 가능하다.
• GloVe 및 w2v 단어 임베딩을 모두 사용하여 평가하였으며, w2v가 3D 포인트 클라우드 의미와 더 잘 일치함을 확인하였다.

실험 결과

연구 질문

• RQ1 3D 제로샷 러닝에서 휠러스 문제의 특징는 무엇이며, 2D 이미지 기반 ZSL보다 왜 더 심각한가?
• RQ2 예측 기울기를 최소화하는 훈련 시간 손실이 3D 포인트 클라우드 인식에서 휠러스를 효과적으로 줄일 수 있는가?
• RQ3 제안된 방법은 3D 데이터의 표준 ZSL 및 일반화된 ZSL(GZSL) 설정 모두에서 효과적인가?
• RQ4 GloVe와 w2v 중 어느 의미 임베딩이 3D ZSL에서 더 높은 성능을 내며, 그 이유는 무엇인가?
• RQ5 특징에서 의미로의 투영이 의미에서 특징으로의 투영보다 휠러스를 더 효과적으로 줄이는가?

주요 결과

• 제안된 기울기 손실은 GloVe 임베딩을 사용하여 ModelNet10에서 33.9%, McGill에서 12.5%, SHREC2015에서 6.2%의 새로운 SOTA 정확도를 달성하였다.
• w2v 임베딩을 사용할 경우, ModelNet10에서 28.7%, McGill에서 11.1%, SHREC2015에서 4.2%의 정확도를 기록하여 이전 방법들을 능가하였다.
• 특징-의미 및 의미-특징 투영 설정 모두에서 기울기 값이 감소함으로써 휠러스가 크게 감소한 것으로 확인되었다.
• 이 방법은 ModelNet40, ModelNet10, McGill, SHREC2015를 포함한 3D 포인트 클라우드 데이터셋에서 일반화된 제로샷 러닝(GZSL)에 대한 첫 번째 종합적 평가를 수립하였다.
• CUB 2D 이미지 데이터셋에서 이 방법은 59.4%의 정확도를 기록하여 Zhang 등(2017)의 이전 SOTA인 58.3%를 초월하였으며, 3D 외의 영역에서도 일반화 가능성을 입증하였다.
• w2v 임베딩이 3D ZSL에서 GloVe를 능가하는 것은 포인트 클라우드 데이터의 기하학적 의미와의 더 나은 일치 때문일 것이다.