[논문 리뷰] Large Loss Matters in Weakly Supervised Multi-Label Classification

Youngwook Kim, Jae Myung Kim외 2명|arXiv (Cornell University)|2022. 06. 08.

Text and Document Classification Technologies인용 수 4

한 줄 요약

이 논문은 약한 감독 다중 레이블 분류에서 샘플의 상대적 손실이 큰 경우를 우선순위로 삼아 모델의 일반화 성능을 향상시키기 위해 새로운 대규모 손실 재가중 전략을 제안한다. 각 배치 내에서 상대적 손실 크기에 따라 동적으로 손실 가중치를 조정함으로써, 최신 기술 성능을 달성하였으며, 기준 방법 대비 NUSWIDE에서 최대 +6.6 mAP, OpenImages V3에서 +0.4 mAP 향상을 기록하였다.

ABSTRACT

Weakly supervised multi-label classification (WSML) task, which is to learn a multi-label classification using partially observed labels per image, is becoming increasingly important due to its huge annotation cost. In this work, we first regard unobserved labels as negative labels, casting the WSML task into noisy multi-label classification. From this point of view, we empirically observe that memorization effect, which was first discovered in a noisy multi-class setting, also occurs in a multi-label setting. That is, the model first learns the representation of clean labels, and then starts memorizing noisy labels. Based on this finding, we propose novel methods for WSML which reject or correct the large loss samples to prevent model from memorizing the noisy label. Without heavy and complex components, our proposed methods outperform previous state-of-the-art WSML methods on several partial label settings including Pascal VOC 2012, MS COCO, NUSWIDE, CUB, and OpenImages V3 datasets. Various analysis also show that our methodology actually works well, validating that treating large loss properly matters in a weakly supervised multi-label classification. Our code is available at https://github.com/snucml/LargeLossMatters.

연구 동기 및 목표

• 다중 레이블 이미지 분류에서 노이즈가 많고 완전하지 않은 레이블 문제를 해결하기 위해.
• 학습 중 손실이 큰 샘플에 집중함으로써 약한 감독 학습에서 모델의 일반화 성능을 향상시키기 위해.
• 각 미니배치 내 상대적 손실 크기에 따라 임계값을 동적으로 조정하는 동적 손실 재가중 메커니즘을 개발하기 위해.
• 손실 재가중 전략에서 상대적 임계값과 절대적 임계값의 성능 비교를 평가하기 위해.
• 시각화를 통해 클래스 활성화 맵(CAMs)을 통해 모델의 해석 가능성 향상을 보여주기 위해.

제안 방법

• 상대적 손실 임계값 기반 메커니즘을 도입하여, 임계값 $ R(t) = R_0 - t \cdot \Delta_{\text{rel}} $ 가 각 미니배치 내 손실의 상대적 크기에 따라 시간에 따라 조정된다.
• 세 가지 변형(LL-R, LL-Ct, LL-Cp)을 제안하며, 이는 샘플에 적용되는 방식에서 다름: 무작위, 클래스별, 또는 개별 샘플 재가중.
• 절대 손실 기반 변형도 도입되며, $ R(t) = R_0 - t \cdot \Delta_{\text{abs}} $ 로 정의되며, 상대 순위 대신 절대 손실 값 사용.
• 하이퍼파rameter $ \Delta_{\text{rel}} $, $ \Delta_{\text{abs}} $, $ R_0 $ 는 이산 범위에서 탐색하여 성능 최적화.
• 모델은 엔드 투 엔드 또는 선형 프로빙 방식으로 훈련되며, 훈련 세트에서 20%를 검증 세트로 분리하고, mAP 기반으로 최고 성능 모델 선택.
• 기준 방법(Naive AN 및 ROLE)과 비교하기 위해 클래스 활성화 맵(CAMs)을 시각화함.

Figure 1 : Class Activation Mapping results in COCO test images.

실험 결과

연구 질문

• RQ1 큰 상대적 손실을 가진 샘플을 우선순위로 삼는 것이 약한 감독 다중 레이블 분류 성능 향상에 기여하는가?
• RQ2 상대적 손실 임계값과 절대적 손실 임계값 간의 mAP 성능 및 강건성에서의 성능 비교는 어떠한가?
• RQ3 동적 손실 재가중이 클래스 활성화 맵(CAMs)을 통한 더 나은 국소화 및 설명 가능성 향상에 기여하는가?
• RQ4 다양한 손실 재가중 전략(LL-R, LL-Ct, LL-Cp)이 모델 일반화에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 합성 부분 레이블 데이터셋과 실제 부분 레이블 데이터 모두에서 어떻게 성능을 발휘하는가?

주요 결과

• 인위적으로 생성된 부분 레이블이 있는 NUSWIDE 데이터셋에서, LL-Ct abs 는 Naive AN 대비 +6.6 mAP 향상, LL-relative 대비 +0.3 mAP 향상 달성.
• 실제 부분 레이블이 있는 OpenImages V3에서, 절대 손실 변형(LL-R abs, LL-Ct abs, LL-Cp abs)은 Naive AN 대비 +0.3 ~ +0.4 mAP 향상 달성.
• NUSWIDE에서 LL-Ct abs 는 48.6 mAP 기록하여 Naive AN(42.0 mAP)과 LL-relative(48.3 mAP)를 모두 초월.
• OpenImages V3 G1–G5 그룹 평가에서, LL-Ct abs 는 G5에서 89.3 mAP 기록하여 Naive AN의 88.8 mAP를 상회하며, 모든 그룹에서 일관된 성능 향상을 보였다.
• 클래스 활성화 맵(CAMs)의 시각화 결과, LL-Ct 는 Naive AN 및 ROLE 대비 더 정확한 객체 국소화를 보였으며, 인간의 해석과 더 잘 일치함을 시사한다.
• 절대 손실 변형(LL-Ct abs)은 합성 및 실제 세계 데이터셋 모두에서 뛰어난 성능 유지를 보이며, 다양한 손실 기준에 대해 강건함을 입증하였다.