[논문 리뷰] When Optimizing $f$-divergence is Robust with Label Noise

Jiaheng Wei, Yang Liu|arXiv (Cornell University)|2020. 11. 07.

Machine Learning and Data Classification참고 문헌 35인용 수 6

한 줄 요약

이 논문은 특정 f-divergence 측정법—특히 Total Variation, Jensen-Shannon, Pearson χ²—이 변분 분리 성질 덕분에 레이블 노이즈에 대해 강건하게 유지됨을 보여준다. 이 성질은 깨끗한 성분과 노이즈 성분을 분리한다. 저자들은 노이즈 비율 추정 없이도 f-divergence가 본질적으로 강건해지는 조건을 유도하고, 강건성이 실패할 경우 보정 방법을 제안하며, MNIST, CIFAR-10, CIFAR-100, Clothing1M에서 광범위한 실험을 통해 검증한다.

ABSTRACT

We show when maximizing a properly defined $f$-divergence measure with respect to a classifier's predictions and the supervised labels is robust with label noise. Leveraging its variational form, we derive a nice decoupling property for a family of $f$-divergence measures when label noise presents, where the divergence is shown to be a linear combination of the variational difference defined on the clean distribution and a bias term introduced due to the noise. The above derivation helps us analyze the robustness of different $f$-divergence functions. With established robustness, this family of $f$-divergence functions arises as useful metrics for the problem of learning with noisy labels, which do not require the specification of the labels' noise rate. When they are possibly not robust, we propose fixes to make them so. In addition to the analytical results, we present thorough experimental evidence. Our code is available at https://github.com/UCSC-REAL/Robust-f-divergence-measures.

연구 동기 및 목표

• 노이즈 있는 레이블로 최적화할 때도 강건성을 유지하는 f-divergence 측정법을 식별하는 것.
• f-divergence 최적화에서 깨끗한 성분과 노이즈 성분을 분리하는 변분 프레임워크를 개발하는 것.
• 노이즈 비율에 대한 사전 지식이 필요 없는 강건한 손실 함수의 가족을 제공하는 것.
• 노이즈 비율 추정을 통해 비강건한 f-divergence를 보정하고 훈련의 강건성을 향상시키는 것.
• 다양한 데이터셋과 노이즈 설정에서 제안된 f-divergence 측정법의 강건성과 효능을 경험적으로 검증하는 것.

제안 방법

• f-divergence의 변분 형태를 유도하여 깨끗한 변분 차이와 노이즈 유도된 편향 항으로의 선형 분해를 드러내는 것.
• 특히 Total Variation 및 Jensen-Shannon 분산에서 노이즈에 대해 f-divergence가 불변성을 유지하는 조건을 설정하는 것.
• 노이즈 전이 행렬을 추정하고 분산 함수를 이를 바탕으로 조정하여 비강건한 f-divergence에 대한 보정 메커니즘을 제안하는 것.
• 변분 분해를 사용하여 f-divergence 최대화가 예측과 진짜 레이블 간의 확장된 f-상호정보량 최대화를 장려함을 보여주는 것.
• 다양한 노이즈 매트릭스를 사용하여 MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100, Clothing1M에서 제안된 f-divergence 측정법을 구현하고 평가하는 것.
• 훈련 프로토콜을 데이터셋 간에 일관되게 유지하며, 교차 엔트로피를 사용한 웜업 훈련을 거친 후 학습률 스케줄링을 적용한 f-divergence 최적화를 수행하는 것.

실험 결과

연구 질문

• RQ1 노이즈 비율 추정 없이도 본질적으로 레이블 노이즈에 강건한 f-divergence 측정법은 무엇인가?
• RQ2 레이블 노이즈 하에서 f-divergence의 변분 형태는 어떻게 분해되며, 이는 강건성에 대해 무엇을 드러내는가?
• RQ3 f-divergence 최적화가 레이블 노이즈가 존재하더라도 베이즈 최적 분류기를 유지하는 조건은 무엇인가?
• RQ4 비강건한 f-divergence는 노이즈 비율 추정을 통해 보정될 수 있으며, 그 보정은 얼마나 효과적인가?
• RQ5 다양한 레이블 노이즈 설정 하에서 f-divergence 기반 훈련 방법은 최신 기준 성능과 비교해 어떻게 성능을 내는가?

주요 결과

• 이론적 분석과 경험적 결과를 통해 Total Variation 분산이 모든 테스트 조건에서 레이블 노이즈에 대해 강건함을 확인했다.
• Jensen-Shannon 및 Pearson χ² 분산은 특정 조건 하에서 강건하며, 특히 노이즈 전이 매트릭스가 특정 대칭성 또는 희박성 조건을 만족할 경우에 해당한다.
• 변분 형태는 노이즈가 있는 f-divergence가 깨끗한 변분 차이의 애핀 변환에 편향 항을 더한 것임을 드러내어 강건성의 이론적 분석을 가능하게 한다.
• 비강건한 f-divergence의 경우, 노이즈 비율 추정을 사용한 제안된 보정 방법이 특히 비대칭 레이블 노이즈 하에서 일반화 성능을 크게 향상시킨다.
• MNIST, CIFAR-10, CIFAR-100, Clothing1M에서의 경험적 결과는 노이즈 비율 추정 없이도 f-divergence 최적화가 최신 기준 성능을 초월하거나 이를 맞추는 것으로 나타났다.
• 다양한 노이즈 수준(예: 0.5 및 0.7의 무작위 뒤집기)에서 강력한 성능을 기록하여 일관된 강건성을 입증했다.