[논문 리뷰] Calibrated neighborhood aware confidence measure for deep metric learning

Maryna Karpusha, Sunghee Yun외 1명|arXiv (Cornell University)|2020. 06. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 4

한 줄 요약

이 논문은 딥 메트릭 학습을 위한 校正되고 해석 가능한 신뢰도 측정법인 NED(Normalized Exponential of Distances)을 제안한다. NED는 임bedding 공간에서 가우시안 커널 스무딩을 사용하여 클래스별 데이터 분포를 근사한다. 최소한의 하이퍼파ram터 튜닝으로도 깨끗한, 손상된, 그리고 적대적인 테스트 데이터에 걸쳐 강건성과 일반화 능력을 향상시키며, 네 가지 벤치마크 데이터셋에서 기준선들을 일관되게 능가한다.

ABSTRACT

Deep metric learning has gained promising improvement in recent years following the success of deep learning. It has been successfully applied to problems in few-shot learning, image retrieval, and open-set classifications. However, measuring the confidence of a deep metric learning model and identifying unreliable predictions is still an open challenge. This paper focuses on defining a calibrated and interpretable confidence metric that closely reflects its classification accuracy. While performing similarity comparison directly in the latent space using the learned distance metric, our approach approximates the distribution of data points for each class using a Gaussian kernel smoothing function. The post-processing calibration algorithm with proposed confidence metric on the held-out validation dataset improves generalization and robustness of state-of-the-art deep metric learning models while provides an interpretable estimation of the confidence. Extensive tests on four popular benchmark datasets (Caltech-UCSD Birds, Stanford Online Product, Stanford Car-196, and In-shop Clothes Retrieval) show consistent improvements even at the presence of distribution shifts in test data related to additional noise or adversarial examples.

연구 동기 및 목표

• 딥 메트릭 학습 모델에서 신뢰도 추정이 신뢰할 수 있고 해석 가능하지 않은 문제를 해결하기 위해.
• 이미지 손상과 적대적 공격과 같은 분포 이탈 상황에서 모델의 강건성을 향상시키기 위해.
• 백본 네트워크 재학습 없이도 잘 일반화되는 후처리 校정 방법을 제공하기 위해.
• 예측 정확도와 강하게 상관되는 정확한 신뢰도 추정을 가능하게 하기 위해.
• k-NN 기반의 신뢰도 점수에서 흔히 볼 수 있는 하이퍼파ram터 민감도에 대한 의존도를 줄이기 위해.

제안 방법

• NED는 임bedding 공간에서 k개의 가장 가까운 이웃까지의 거리 지수의 정규화된 합으로 신뢰도를 계산한다.
• 이 방법은 특정 샘플이 주어진 클래스에 속할 조건부 확률을 모델링하기 위해 가우시안 커널 스무딩 근사를 사용한다.
• 단일 온도 파ram터 T는 검증 세트에 대해 보류된 상태에서 校정되어 확률 추정을 향상시키며, 분류에서의 온도 스케일링과 유사하다.
• 신뢰도 점수는 베이즈 정리에 기반하여 거리 기반의 이웃 정보와 진짜 정확도 가능성 사이의 관계를 연결한다.
• 이 방법은 사전 학습된 딥 메트릭 학습 모델에 후처리 방식으로 적용되며, 아키텍처 변경이나 재학습이 필요 없다.
• 이 방법은 커널 밀도 추정과 통계학적 학습 이론에 이론적으로 기반하여 일반화 보장을 보장한다.

실험 결과

연구 질문

• RQ1 딥 메트릭 학습에 대해 예측 정확도와 강하게 상관되는 후처리 신뢰도 측정법을 개발할 수 있는가?
• RQ2 이미지 손상과 적대적 예외와 같은 분포 이탈 상황에서 신뢰도 추정을 어떻게 강건하게 만들 수 있는가?
• RQ3 이웃 인식 기반의 신뢰도 측정법이 표준 k-NN 및 가중 k-NN 기준선보다 校정 및 정확도 측면에서 뛰어나게 성능을 내는가?
• RQ4 제안된 NED 방법이 k와 같은 하이퍼파ram터 선택에 대한 민감도를 어느 정도 줄이는가?
• RQ5 단일의 校정된 온도 파aram터 T가 다양한 테스트 분포에서 신뢰도 校정을 향상시킬 수 있는가?

주요 결과

• CUB-200 데이터셋에서 NED는 손상된 테스트 이미지에서 평균 64.8%의 정확도를 기록했으며, 1NN보다 12% 높고 kNN보다 4.3% 높았다.
• CARS196 데이터셋에서 NED는 손상된 데이터에서 77.2%의 정확도와 2.3%의 ECE를 기록했으며, kNN(76.0% 정확도, 14.1% ECE)보다 뚜렷이 뛰어났다.
• ε=0.3인 PGD를 사용한 적대적 예외에서 NED는 78.0%의 정확도와 2.9%의 ECE를 유지했으며, 1NN(74.4% 정확도, 10.9% ECE)을 능가했다.
• NED는 CUB-200, CARS196, SOP, In-shop의 네 가지 벤치마크 데이터셋 전반에서 일관된 향상을 보였으며, 모든 기준선보다 낮은 ECE와 높은 정확도를 기록했다.
• k 선택에 대한 강건성이 입증되었으며, k=10를 초과해도 정확도 저하가 최소한이었고, 하이퍼파aram터 튜닝에 대한 민감도가 낮음을 시사했다.
• 교정된 온도 파aram터 T는 진짜 데이터 분포를 더 잘 근사함으로써 확률 추정을 향상시켰으며, 이는 이론적 및 실증적 분석을 통해 검증되었다.