[논문 리뷰] Selective-Supervised Contrastive Learning with Noisy Labels

Shikun Li, Xiaobo Xia외 2명|arXiv (Cornell University)|2022. 03. 08.

Music and Audio Processing인용 수 23

한 줄 요약

Sel-CL은 노이즈가 있는 라벨 데이터에서 신뢰할 수 있는 예제와 신뢰할 수 있는 쌍을 선택하여 감독된 컨트라스트 학습을 이끌고, 견고한 표현을 생성하며 노이즈가 있는 CIFAR 및 WebVision 데이터셋에서 강한 성능을 달성한다.

ABSTRACT

Deep networks have strong capacities of embedding data into latent representations and finishing following tasks. However, the capacities largely come from high-quality annotated labels, which are expensive to collect. Noisy labels are more affordable, but result in corrupted representations, leading to poor generalization performance. To learn robust representations and handle noisy labels, we propose selective-supervised contrastive learning (Sel-CL) in this paper. Specifically, Sel-CL extend supervised contrastive learning (Sup-CL), which is powerful in representation learning, but is degraded when there are noisy labels. Sel-CL tackles the direct cause of the problem of Sup-CL. That is, as Sup-CL works in a extit{pair-wise} manner, noisy pairs built by noisy labels mislead representation learning. To alleviate the issue, we select confident pairs out of noisy ones for Sup-CL without knowing noise rates. In the selection process, by measuring the agreement between learned representations and given labels, we first identify confident examples that are exploited to build confident pairs. Then, the representation similarity distribution in the built confident pairs is exploited to identify more confident pairs out of noisy pairs. All obtained confident pairs are finally used for Sup-CL to enhance representations. Experiments on multiple noisy datasets demonstrate the robustness of the learned representations by our method, following the state-of-the-art performance. Source codes are available at https://github.com/ShikunLi/Sel-CL

연구 동기 및 목표

• 레이블이 노이즈하고 얻기 비싼 상황에서 강건한 표현 학습을 촉진한다.
• 레이블 노이즈를 완화하기 위해 감독된 컨트라스트 학습의 쌍-기반 특성을 활용한다.
• 학습을 위한 신뢰할 수 있는 예제와 신뢰할 수 있는 쌍을 식별하는 임계값-없는 동적 방법을 개발한다.
• 합성 및 실제 노이즈 데이터셋에서 방법의 효과를 입증하고 구성 요소 기여를 분석한다.

제안 방법

• 감독 컨트라스트 학습(Sup-CL)을 확장하여 대조 목적에 대해 신뢰할 수 있는 쌍만 선택적으로 사용한다.
• 이웃 기반의 의사 라벨 방식에 따라 학습된 표현과 주어진 노이즈 라벨 간의 일치를 측정하여 신뢰할 수 있는 예제를 식별한다.
• 학습된 표현이 충분히 유사한 쌍 및 신뢰할 수 있는 예제에서 신뢰할 수 있는 쌍을 만들고, 동적이고 데이터 기반 임계값을 사용한다.
• 선택적 감독 컨트라스트 손실과 신뢰할 수 있는 예제에 대한 분류자 손실, 그리고 쌍의 정보를 활용하기 위한 유사도 기반 손실을 결합한 혼합 목적 함수로 최적화한다.
• 선택적으로 강건한 미세 조정 전략을 사용하여 사전 학습된 인코더를 활용하는 미세 조정 단계(Sel-CL+)를 수행한다.

실험 결과

연구 질문

• RQ1 선택적 쌍 매칭이 표현 학습에서 노이즈 라벨의 부정적 영향을 줄일 수 있는가?
• RQ2 노이즈 비율을 알지 못한 채로 신뢰할 수 있는 예제와 신뢰할 수 있는 쌍을 어떻게 식별할 수 있는가?
• RQ3 에폭 단위의 동적 신뢰할 수한 쌍 선택이 표준 Sup-CL이나 다른 노이즈 라벨 방법에 비해 강건성과 일반화에 도움이 되는가?
• RQ4 제안된 구성요소들(Mixup, MOCO-스타일 증강, 신뢰할 수 있는 예제에 대한 분류 손실, 유사도 손실)이 강건성과 정확도에 추가적으로 기여하는가?

주요 결과

• Sel-CL은 대칭 및 비대칭 노이즈 설정에서 CIFAR-10/100의 강력한 기준선보다 일관되게 우수한 성능을 보인다.
• Sel-CL+은 현시점 방법들과 비교하여 실제 세계 데이터인 WebVision-50에서 경쟁력 있거나 최상의 결과를 달성한다.
• 가중 KNN 평가에서 표현 품질을 개선하고 라벨 노이즈의 영향을 줄인다.
• 더 나은 신뢰할 수 있는 쌍이 더 나은 표현으로 이어지고, 이는 더 많은 신뢰할 수 있는 쌍을 발견하게 하는 긍정적 순환이 형성된다.
• 에블레이션 연구는 Mixup, 선택 메커니즘 및 유사도 기반 구성요소가 모두 성능 향상에 기여함을 확인한다.