[논문 리뷰] Learning Intra-Batch Connections for Deep Metric Learning

Jenny Seidenschwarz, Ismail Elezi외 1명|arXiv (Cornell University)|2021. 02. 15.

Face recognition and analysis참고 문헌 78인용 수 13

한 줄 요약

이 논문은 메시지 전파 네트워크(MPN)를 학습 가능한 방식으로 제안하며, 어텐션 기반 메시지 전파를 통해 미니배치 내 모든 내부 관계를 활용하여 딥 메트릭 학습 임bedding을 개선한다. 전역적인 구조 인식 능력을 갖춘 엔드 투 엔드 훈련을 가능하게 함으로써, 추론 오버헤드 없이 CUB-200-2011, Cars196, Stanford Online Products, In-Shop Clothes 벤치마크에서 최신 기술 성능을 달성하며, 테스트 시 MPN 추론을 통해 성능 향상도 가능하다.

ABSTRACT

The goal of metric learning is to learn a function that maps samples to a lower-dimensional space where similar samples lie closer than dissimilar ones. Particularly, deep metric learning utilizes neural networks to learn such a mapping. Most approaches rely on losses that only take the relations between pairs or triplets of samples into account, which either belong to the same class or two different classes. However, these methods do not explore the embedding space in its entirety. To this end, we propose an approach based on message passing networks that takes all the relations in a mini-batch into account. We refine embedding vectors by exchanging messages among all samples in a given batch allowing the training process to be aware of its overall structure. Since not all samples are equally important to predict a decision boundary, we use an attention mechanism during message passing to allow samples to weigh the importance of each neighbor accordingly. We achieve state-of-the-art results on clustering and image retrieval on the CUB-200-2011, Cars196, Stanford Online Products, and In-Shop Clothes datasets. To facilitate further research, we make available the code and the models at https://github.com/dvl-tum/intra_batch_connections.

연구 동기 및 목표

• 기존의 딥 메트릭 학습 방법이 쌍별 또는 트리플릿 손실에만 의존하여 임베딩 공간의 전역적 구조를 忽略한다는 한계를 해결하기 위해.
• 미니배치 내 모든 샘플 간 상호관계를 사용하여 임베딩을 개선하는 완전히 학습 가능한 모듈을 개발하기 위해.
• 학습 가능한 어텐션을 갖춘 메시지 전파를 통해 전역 데이터셋 구조를 모델링하여 클러스터링 및 이미지 검색 성능을 향상시키기 위해.
• 다양한 하이퍼파rameter 설정 하에서 성능을 검증하고 테스트 세트 피드백 없이도 강건성과 일반화 능력을 확보하기 위해.

제안 방법

• 모든 샘플에 대해 미니배치 내에서 초기 특징 임베딩을 생성하기 위해 CNN 백본을 사용한다.
• 모든 노드가 샘플의 임베딩을 나타내는 완전히 연결된 그래프를 구축하여 샘플 간 통신을 가능하게 한다.
• K단계 동안 메시지 전파를 수행하며, 각 샘플이 배치 내 모든 다른 샘플로부터 메시지를 어텐션 기반 메커니즘을 통해 집약한다.
• 어텐션 가중치는 도트 곱 자기어텐션을 통해 계산되며, 이는 각 샘플이 메시지 집약 과정에서 이웃의 중요도를 동적으로 가중할 수 있도록 한다.
• 개선된 임베딩을 사용해 크로스 엔트로피 손실을 계산함으로써 CNN과 MPN을 동시에 훈련시킬 수 있다.
• 추론 시에는 CNN 백본만 사용할 수 있으며(오버헤드 없음), 또는 향상된 성능를 위해 k-상호근접 이웃 샘플링을 사용해 훈련된 MPN을 추가 적용할 수 있다.

실험 결과

연구 질문

• RQ1 미니배치 내 모든 내부 관계를 모델링함으로써 쌍별 또는 트리플릿 기반 손실을 초월한 딥 메트릭 학습 성능 향상이 가능한가?
• RQ2 수동으로 설정된 규칙나 고정된 샘플링 전략에 비해 어텐션 기반 메시지 전파가 전역 임베딩 구조를 포착하는 데 모델의 능력을 어떻게 향상시키는가?
• RQ3 메시지 전파 단계 수나 어텐션 헤드 수와 같은 하이퍼파rameter 설정에 따라 성능가 지속적으로 유지되는가?
• RQ4 테스트 세트 피드백이나 아키텍처 오버피팅에 의존하지 않고도 최신 기술 성능을 달성할 수 있는가?
• RQ5 미니배치 내 클래스 수와 클래스당 샘플 수가 증가함에 따라 성능가 어떻게 스케일링되는가?

주요 결과

• CUB-200-2011에서 Recall@1이 70.3%로 기록되어 이전 방법들을 능가하는 최신 기술 성능을 달성한다.
• Cars196에서는 88.1% Recall@1을 기록하여 더 큰 크기와 더 복잡한 데이터셋에서도 뛰어난 성능을 보여준다.
• Stanford Online Products에서는 81.4% Recall@1을, In-Shop Clothes에서는 92.8%를 기록하여 광범위한 효과성을 입증한다.
• 테스트 세트 피드백을 피하는 '현실 검증' 프rotocol 하에서도 CUB-200-2011에서 67.1% Recall@1, Cars196에서는 86.7%를 기록하여 강건성을 입증한다.
• 클래스 수와 클래스당 샘플 수의 변화에 관계없이 성능가 안정적으로 유지되며, CUB-200-2011에서 최대 2.8pp, Cars196에서 최대 3.4pp의 하락만을 보인다.
• 메시지 전파 단계 수나 어텐션 헤드 수를 늘려도 모든 데이터셋에서 성능 향상이 보장되지 않음을 확인하여 최적 설정은 데이터에 따라 달라진다는 것을 시사한다.