[논문 리뷰] Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies

Yuehua Zhu, Muli Yang외 2명|arXiv (Cornell University)|2020. 10. 26.

Face recognition and analysis참고 문헌 27인용 수 27

한 줄 요약

이 논문은 임베딩 공간 내에서 글로벌 및 로컬 유사성 관계를 모델링하기 위해 적은 수의 적응형으로 선택된 프록시를 사용하는 새로운 딥 그래프 메트릭 학습 방법인 ProxyGML을 제안한다. k-최근접 이웃 서브그래프를 구성하고 역 레이블 전파 알고리즘을 적용하여, CUB-200-2011, Cars196, Stanford Online Products에서 기존 방법에 비해 더 낮은 계산 비용으로 정확도와 효율성 면에서 최고 성능을 달성한다.

ABSTRACT

Deep metric learning plays a key role in various machine learning tasks. Most of the previous works have been confined to sampling from a mini-batch, which cannot precisely characterize the global geometry of the embedding space. Although researchers have developed proxy- and classification-based methods to tackle the sampling issue, those methods inevitably incur a redundant computational cost. In this paper, we propose a novel Proxy-based deep Graph Metric Learning (ProxyGML) approach from the perspective of graph classification, which uses fewer proxies yet achieves better comprehensive performance. Specifically, multiple global proxies are leveraged to collectively approximate the original data points for each class. To efficiently capture local neighbor relationships, a small number of such proxies are adaptively selected to construct similarity subgraphs between these proxies and each data point. Further, we design a novel reverse label propagation algorithm, by which the neighbor relationships are adjusted according to ground-truth labels, so that a discriminative metric space can be learned during the process of subgraph classification. Extensive experiments carried out on widely-used CUB-200-2011, Cars196, and Stanford Online Products datasets demonstrate the superiority of the proposed ProxyGML over the state-of-the-art methods in terms of both effectiveness and efficiency. The source code is publicly available at https://github.com/YuehuaZhu/ProxyGML.

연구 동기 및 목표

• 미니배치 쌍 또는 트리플릿에 의존하는 전통적인 딥 메트릭 학습 방법의 샘플링 비효율성과 높은 계산 비용을 해결하기 위해.
• ProxyNCA와 같은 단일 프록시 방법이 내부 클래스 변동성을 포착하는 데 한계가 있음을 극복하기 위해.
• 그래프 분류와 적응형 프록시 선택을 활용하여 프록시 기반 및 분류 기반 메트릭 학습의 더 효과적이고 효율적인 대안을 개발하기 위해.
• 기본 레이블을 사용하여 이웃 관계를 정밀 조정하는 새로운 역 레이블 전파 메커니즘을 통해 더 빠른 수렴과 더 나은 일반화를 가능하게 하기 위해.

제안 방법

• 각 클래스당 다수의 글로벌 프록시를 사용하여 임베딩 공간 내에서 내부 클래스 변동성을 더 잘 표현한다.
• 미니배치 내 모든 프록시와 데이터 포인트 간에 방향성 유사도 그래프를 구성하여 글로벌 관계를 모델링한다.
• 각 데이터 포인트에 대해 가장 정보가 풍부한 프록시를 적응적으로 선택하여 k-최근접 이웃 서브그래프로 그래프를 분해함으로써 세밀한 로컬 구조를 포착한다.
• 기본 레이블을 사용하여 반복적으로 이웃 관계를 조정하는 역 레이블 전파 알고리즘을 설계하여, 분류 가능 특징 학습을 향상시킨다.
• 서브그래프는 그래프 분류 프레임워크 하에서 분류되며, 이로 인해 프록시와 서브그래프 구조의 공동 최적화를 통해 분류 가능 메트릭 공간을 학습할 수 있다.
• 기존 메트릭 학습 손실과 호환되며, 소형 배치 크기를 지원하여 훈련 효율성을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 전통적인 프록시 기반 또는 샘플링 기반 메트릭 학습 방법에 비해 더 적은 수의 전략적으로 선택된 프록시가 더 높은 성능을 달성할 수 있는가?
• RQ2 랜덤 또는 히우리스틱 샘플링에 의존하지 않고, 딥 메트릭 학습에서 로컬 이웃 구조를 효과적으로 모델링할 수 있는가?
• RQ3 기본 레이블을 사용하여 이웃 관계를 정밀 조정하는 서브그래프에서의 역 레이블 전파가 메트릭 공간의 분류 가능성을 향상시킬 수 있는가?
• RQ4 글로벌 프록시 표현과 로컬 서브그래프 분류를 통합하면 더 빠른 수렴과 높은 정확도를 달성할 수 있는가?

주요 결과

• ProxyGML은 CUB-200-2011, Cars196, Stanford Online Products에서 검색 및 클러스터링 작업 모두에서 최고 성능을 기록한다.
• Cars196 데이터셋에서 ProxyGML은 512차원 임베딩을 사용해 Recall@1이 91.2%를 달성하여 모든 베이스라인을 능가한다.
• Stanford Online Products에서 클래스 수가 매우 많음(11,318개)에도 불구하고, ProxyGML은 훨씬 낮은 계산 비용으로 최고 성능를 기록한 다른 방법들과 유사한 성능을 달성한다.
• 백프로퍼게이션 중 ProxyGML은 11,318개의 전체 프록시 세트를 사용하는 Proxy-Anchor에 비해 k = ⌈0.05 × 11318⌉ ≈ 566개의 프록시만 사용하여 메모리와 계산을 줄였다.
• Cars196 벤치마크에서 더 짧은 훈련 시간 동안 Recall@1 값이 더 높아, 기존 접근 방식보다 더 빠른 수렴을 보였다.
• 역 레이블 전파 메커니즘이 서브그래프 구조 학습을 효과적으로 향상시켜, 대용량 배치 크기를 요구하지 않으면서도 더 분류 가능한 임베딩을 생성한다.