[논문 리뷰] Noise-resistant Deep Metric Learning with Ranking-based Instance Selection

Chang Liu, Han Yu외 7명|arXiv (Cornell University)|2021. 03. 30.

Advanced Image and Video Retrieval Techniques참고 문헌 7인용 수 6

한 줄 요약

이 논문은 메모리 백과 함께 확률적 순위 기반 인스턴스 선택을 사용하여 훈련 중에 노이즈 있는 레이블을 식별하고 필터링하는 노이즈에 강건한 딥 메트릭 학습 방법인 PRISM을 제안한다. 여러 네트워크 스냅샷 간의 특징 유사도를 활용함으로써 PRISM은 모델의 강건성을 향상시켜, 기존 방법 대비 최대 6.06% 높은 Precision@1을 달성한다.

ABSTRACT

The existence of noisy labels in real-world data negatively impacts the performance of deep learning models. Although much research effort has been devoted to improving robustness to noisy labels in classification tasks, the problem of noisy labels in deep metric learning (DML) remains open. In this paper, we propose a noise-resistant training technique for DML, which we name Probabilistic Ranking-based Instance Selection with Memory (PRISM). PRISM identifies noisy data in a minibatch using average similarity against image features extracted by several previous versions of the neural network. These features are stored in and retrieved from a memory bank. To alleviate the high computational cost brought by the memory bank, we introduce an acceleration method that replaces individual data points with the class centers. In extensive comparisons with 12 existing approaches under both synthetic and real-world label noise, PRISM demonstrates superior performance of up to 6.06% in Precision@1.

연구 동기 및 목표

• 딥 메트릭 학습에서 레이블 노이즈에 강건한 방법의 부족을 해결하되, 노이즈에 강건한 분류 기술의 진전에도 불구하고 이는 중요한 격차이다.
• 수동 레이블링이나 클래스 전이 행렬에 의존하지 않고도 노이즈 있는 훈련 인스턴스를 식별할 수 있는 기법을 개발한다.
• 다양한 네트워크 스냅샷에서의 동적이고 이력 기반의 유사도 스코어링을 통해 노이즈 있는 샘플을 필터링하여 메트릭 학습의 일반화 성능을 향상시킨다.
• 클래스 중심 근사치를 통해 메모리 기반 필터링의 계산 비용을 줄이면서도 성능을 유지한다.
• 합성, 실세계, 오픈 세트 노이즈 환경을 포함한 다양한 노이즈 설정에서의 효과성을 입증하며, 새로운 소규모 클러스터 노이즈 모델을 포함한다.

제안 방법

• PRISM는 이전 네트워크 가중치의 특징에서 유도된, 데이터 포인트와 메모리 백 내 다른 샘플 간 평균 유사도를 기반으로 레이블이 깨끗할 확률을 계산한다.
• 이 방법은 모델 상태 간 비교를 가능하게 하기 위해 이전 훈련 반복에서의 특징을 저장하는 메모리 백을 유지한다.
• 확률적 순위 함수 $ P_{\text{clean}}(i) $ 는 메모리 백 내 같은 클래스의 다른 샘플들과의 유사도를 기반으로 인스턴스를 순위 매긴다.
• 스무스 상위-R (sTRM) 기법은 훈련 반복에 걸친 슬라이딩 윈도우를 사용하여 노이즈 있는 인스턴스 식별을 위한 임계값을 동적으로 조정한다.
• 가속 기법은 유사도 계산에서 개별 데이터 포인트를 클래스 중심으로 대체하여 SOP 데이터셋에서 최대 6.9배의 계산 감소를 달성한다.
• 이 방법은 메모리 백 기반 및 클래스 중심 기반 훈련 모두와 호환되어 유연성과 확장성을 제공한다.

Figure 1 : Example images in CARS-98N. Images in the first row have clean labels. The second row shows some images with noisy labels, including car interiors and car parts.

실험 결과

연구 질문

• RQ1 메모리 보강 및 유사도 기반 방법은 클래스 전이 행렬에 의존하지 않고도 딥 메트릭 학습에서 노이즈 있는 레이블을 효과적으로 탐지할 수 있는가?
• RQ2 단일 반복 특징 대비 여러 이전 네트워크 가중치를 사용할 경우 노이즈 있는 레이블 탐지의 신뢰성이 어떻게 향상되는가?
• RQ3 유사도 계산에서 개별 데이터 포인트를 클래스 중심으로 대체할 경우 성능 손실 없이 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 PRISM는 대칭 노이즈, 오픈 세트 노이즈, 실세계 레이블 노이즈 등 다양한 노이즈 설정에서 어떻게 성능을 발휘하는가?
• RQ5 노이즈 있는 인스턴스 식별을 위한 최적의 임계값 전략은 무엇이며, sTRM 기법은 노이즈 있는 데이터에 대한 강건성을 어떻게 향상시키는가?

주요 결과

• PRISM는 대칭 노이즈 및 실세계 레이블 노이즈 조건에서 12개의 기존 DML 및 노이즈에 강건한 훈련 방법보다 최대 6.06% 높은 Precision@1을 달성한다.
• 25%의 소규모 클러스터 노이즈가 있는 CARS 데이터셋에서 PRISM는 75.40%의 Precision@1과 17.40%의 MAP@R을 기록하며, 베이스라인 필터링 전략을 능가한다.
• sTRM 가속 기법은 SOP 데이터셋에서 훈련 시간을 6.9배 감소시키면서도 높은 성능을 유지한다.
• PRISM의 최적 필터링 비율 $ R = 50\% $ 는 CARS-98N 데이터셋에서 약 50%의 레이블 노이즈율에 해당한다.
• 절단 분석 결과, 전체 메모리 백을 사용하는 것(메모리-양성)이 배치 전용 유사도(배치-양성)보다 더 효과적이며, PRISM의 전체 공식(Eq. 2)이 가장 뛰어난 성능을 낸다.
• PRISM 하에서 모델 성능은 시간이 지남에 따라 안정적이고 향상되며, 노이즈 조건에서 5,000 반복 이후에 과적합되고 성능이 저하되는 베이스라인과는 다르다.

Figure 2 : The Precision@1 (%) vs number of iterations on CARS with 25% Small Cluster Noise.