[논문 리뷰] Improving MAE against CCE under Label Noise.

Xinshao Wang, Elyor Kodirov외 2명|arXiv (Cornell University)|2019. 03. 28.

Machine Learning and Data Classification참고 문헌 26인용 수 11

한 줄 요약

이 논문은 고도의 레이블 노이즈 하에서 MAE의 부족한 적합 성능을 개선하기 위해 기울기 크기의 차이를 제어함으로써 노이즈에 강건한 손실 함수인 개선된 평균 절대 오차(IMAE)를 제안한다. IMAE는 이론적으로 강건한 MAE의 특성을 유지하면서도, 합성 및 실제 노이즈 레이블 하에서 이미지 분류 및 비디오 검색 작업에서 CCE와 표준 MAE를 모두 뛰어넘는 성능을 보인다.

ABSTRACT

Label noise is inherent in many deep learning tasks when the training set becomes large. A typical approach to tackle noisy labels is using robust loss functions. Categorical cross entropy (CCE) is a successful loss function in many applications. However, CCE is also notorious for fitting samples with corrupted labels easily. In contrast, mean absolute error (MAE) is noise-tolerant theoretically, but it generally works much worse than CCE in practice. In this work, we have three main points. First, to explain why MAE generally performs much worse than CCE, we introduce a new understanding of them fundamentally by exposing their intrinsic sample weighting schemes from the perspective of every sample's gradient magnitude with respect to logit vector. Consequently, we find that MAE's differentiation degree over training examples is too small so that informative ones cannot contribute enough against the non-informative during training. Therefore, MAE generally underfits training data when noise rate is high. Second, based on our finding, we propose an improved MAE (IMAE), which inherits MAE's good noise-robustness. Moreover, the differentiation degree over training data points is controllable so that IMAE addresses the underfitting problem of MAE. Third, the effectiveness of IMAE against CCE and MAE is evaluated empirically with extensive experiments, which focus on image classification under synthetic corrupted labels and video retrieval under real noisy labels.

연구 동기 및 목표

• 이론적으로 노이즈에 강건한 것으로 알려진 MAE가 실무에서 CCE에 비해 성능이 열 劣하는 이유를 설명하는 것.
• 고노이즈 비율에서 MAE가 부족한 적합 성능을 보이는 근본 원인을 학습 샘플 간 기울기 크기의 차이 부족으로 규명하는 것.
• MAE의 노이즈 강건성을 유지하면서도 정보가 풍부한 샘플의 기여도를 강화할 수 있는 새로운 손실 함수를 설계하는 것.
• 합성 및 실제 노이즈 레이블 하에서 이미지 분류 및 비디오 검색 작업에서 제안된 방법을 CCE와 MAE 기반 모델과의 공정한 비교를 통해 경험적으로 검증하는 것.

제안 방법

• 로짓 벡터에 대한 각 샘플의 손실 기울기 크기를 분석함으로써 MAE와 CCE의 새로운 이론적 분석을 제안한다.
• 고노이즈 조건에서 학습 예제 간 기울기 크기의 차이가 낮아져서 MAE가 부족한 적합 성능를 보임을 규명한다.
• 기울기 크기의 차이 정도를 제어할 수 있는 학습 가능한 스케일링 메커니즘을 갖춘 수정된 MAE 손실인 IMAE를 도입한다.
• 정보가 풍부한 샘플의 기여도를 노이즈가 많은 샘플보다 증폭시키는 샘플별 가중치 부여 방식을 IMAE에 적용한다.
• 기울기 크기 분포의 날카움을 제어할 수 있는 미분 가능한 온도 매개변수를 사용하여 제어 가능한 기울기 크기 차이를 가능하게 한다.
• 이미지 및 비디오 벤치마크에서 공정한 비교를 위해 표준 학습 프로토콜과 CCE, MAE 기반 모델을 사용한다.

실험 결과

연구 질문

• RQ1 이론적으로 노이즈에 강건한 것으로 알려진 MAE가 고도의 레이블 노이즈 하에서 학습 데이터를 부족하게 적합하는 이유는 무엇인가?
• RQ2 MAE의 기울기 크기 분포는 CCE와 비교해 학습 샘플 간에 어떻게 다를지, 이는 모델 성능에 어떤 영향을 미치는가?
• RQ3 노이즈 강건성을 훼손하지 않고 기울기 크기의 차이를 증가시킴으로써 MAE의 성능을 향상시킬 수 있는가?
• RQ4 제안된 IMAE 손실은 합성 및 실제 노이즈 레이블 하에서 CCE와 표준 MAE에 비해 정확도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• MAE는 학습 샘플 간 기울기 크기의 차이가 부족하여 정보가 풍부한 예측 샘플이 과소평가되면서 고노이즈 조건에서 CCE에 비해 성능이 열 劣한다.
• 제안된 IMAE는 합성 레이블 노이즈 하에서 표준 MAE보다 이미지 분류 작업에서 유의미하게 높은 정확도를 달성하며, 특히 높은 노이즈 비율에서 두드러진 성능 향상을 보였다.
• 실제 노이즈가 있는 비디오 검색 벤치마크에서 IMAE는 CCE를 능가하며 실용적 환경에서 뛰어난 강건성을 입증했다.
• IMAE는 MAE 수준의 강력한 노이즈 강건성을 유지하면서도 청소년 데이터에서는 CCE에 가까운 또는 이를 초월하는 성능을 달성했다.
• 제거 실험을 통해 기울기 크기의 차이를 제어하는 것이 노이즈 레이블 하에서 MAE의 일반화 성능 향상에 핵심적임을 확인했다.
• IMAE의 온도 제어 스케일링은 강건성과 성능 사이의 효과적인 트레이드오프를 가능하게 하여 다양한 노이즈 수준에 적응 가능한 유연성을 제공한다.