[논문 리뷰] Evaluating Multi-label Classifiers with Noisy Labels

Wenting Zhao, Carla P. Gomes|arXiv (Cornell University)|2021. 02. 16.

Text and Document Classification Technologies참고 문헌 60인용 수 11

한 줄 요약

이 논문은 사전 학습된 단어 임베딩을 활용한 맥락 인식 정규화와 비대칭 손실 함수를 통해 노이즈 있는 레이블에 대한 과적합을 완화하는 컨텍스트 기반 다중 레이블 분류기 CbMLC를 제안한다. 깨끗한 레이블이나 추가적인 감독 없이도 레이블 간의 종속성을 효과적으로 학습함으로써, 노이즈 있는 다중 레이블 데이터셋에서 최신 기법들을 초월한다.

ABSTRACT

Multi-label classification (MLC) is a generalization of standard classification where multiple labels may be assigned to a given sample. In the real world, it is more common to deal with noisy datasets than clean datasets, given how modern datasets are labeled by a large group of annotators on crowdsourcing platforms, but little attention has been given to evaluating multi-label classifiers with noisy labels. Exploiting label correlations now becomes a standard component of a multi-label classifier to achieve competitive performance. However, this component makes the classifier more prone to poor generalization - it overfits labels as well as label dependencies. We identify three common real-world label noise scenarios and show how previous approaches per-form poorly with noisy labels. To address this issue, we present a Context-Based Multi-LabelClassifier (CbMLC) that effectively handles noisy labels when learning label dependencies, without requiring additional supervision. We compare CbMLC against other domain-specific state-of-the-art models on a variety of datasets, under both the clean and the noisy settings. We show CbMLC yields substantial improvements over the previous methods in most cases.

연구 동기 및 목표

• 실제 세계의 노이즈 있는 레이블 설정에서 다중 레이블 분류(MLC)의 평가 부족과 낮은 견고성 문제를 해결하기 위해.
• 기존 방법이 실패하는 주로 비대칭 및 병합된 노이즈 유형을 포함한 세 가지 일반적인 실세계 레이블 노이즈 상황을 식별하고 모델링하기 위해.
• 깨끗한 레이블이나 추가 감독 없이도 노이즈 있는 레이블에도 불구하고 레이블 상관관계를 견고하게 학습할 수 있는 방법을 개발하기 위해.
• 사전 학습된 단어 임베딩을 활용한 맥락 기반 정규화를 도입하여 MLC의 일반화 성능을 향상시키기 위해.

제안 방법

• CbMLC는 도메인 특화 인코더를 사용하여 입력 특징을 잠재 표현으로 매핑하는 인코더-디코더 아키텍처를 사용한다.
• 레이블 그래프 상에서 메시지 전파 디코더를 사용하여 그래프 신경망(GNN)을 통해 레이블 간 종속성을 모델링한다.
• 양성 및 음성 레이블 예측에 대해 다르게 가중치를 적용하는 비대칭 손실 함수를 적용하여 레이블 노이즈에 대한 견고성을 향상시킨다.
• 입력 특징과 레이블의 단어 임베딩을 비교하여 맥락 기반 정규화를 구현하며, 임베딩 공간 내 거리 정규화를 통해 과도한 평탄화를 줄인다.
• 레이블 표현은 사전 학습된 단어 임베딩으로 초기화되지만, 모델은 훈련 중에 이를 미세조정하여 데이터세트 특화된 의미로 적응시킨다.
• 입력 맥락에 대한 의미적 유사도 기반으로 레이블 임베딩을 정규화함으로써 과적합을 방지하고, 노이즈 있는 공존 통계에 대한 의존도를 감소시킨다.

실험 결과

연구 질문

• RQ1 기존 최신 기법들 중 다중 레이블 분류 모델들은 실제적인 비대칭 및 병합된 레이블 노이즈 상황에서 어떻게 성능을 발휘하는가?
• RQ2 노이즈 있는 다중 레이블 데이터셋에서 훈련된 레이블 상관관계 학습 방법들이 얼마나 과적합되는가?
• RQ3 사전 학습된 단어 임베딩을 활용한 맥락 기반 정규화가 노이즈 있는 레이블 조건 하에서 다중 레이블 분류의 일반화 성능을 향상시키는가?
• RQ4 비대칭 손실 함수와 맥락 인식 정규화를 조합한 방법이 노이즈 있는 MLC 환경에서 대칭 또는 표준 BCE 손실 함수보다 우월한가?

주요 결과

• CbMLC는 Pascal VOC와 같은 벤치마크 데이터셋의 노이즈 버전에서 다양한 비대칭 및 병합된 노이즈 설정 하에서 최신 기법들보다 뚜렷한 성능 향상을 보였다.
• Pascal VOC 데이터셋에 비대칭 노이즈를 주입한 상황에서 CbMLC는 mAP 성능을 높게 유지했고, ML-GCN는 빠르게 과적합되는 것으로 나타나 일반화 갭이 크게 감소했다.
• 깨끗한 데이터셋에서도 CbMLC는 최신 기법과 동등하거나 슈퍼리어한 성능을 보였으며, 맥락 기반 정규화가 깨끗한 데이터에서 성능을 떨어뜨리지 않음을 입증했다.
• 절단 실험을 통해 맥락 기반 정규화와 비대칭 손실 함수가 핵심 요소임을 확인했으며, 둘 중 하나를 제거하면 성능이 급격히 떨어졌다.
• 단어 임베딩 기반 레이블 유사도 학습이 다섯 데이터셋 중 네 개에서 정확도 향상을 이끌었으며, 의미론적 레이블 관계를 효과적으로 포착함을 시사했다.
• 이 방법은 도메인 간 일반화 능력이 뛰어나 컴퓨터 비전 및 자연어 처리 벤치마크에서 노이즈 조건 하에서도 일관된 성능 향상을 보였다.