[논문 리뷰] AQuA: A Benchmarking Tool for Label Quality Assessment

Mononito Goswami, Vedant Sanil외 4명|arXiv (Cornell University)|2023. 06. 15.

Machine Learning and Data Classification인용 수 4

한 줄 요약

AQuA는 레이블 노이즈 환경에서 머신러닝에서 레이블 품질 평가 방법을 철저히 평가하기 위해 설계된 종합적인 벤치마킹 프레임워크이다. 다양한 데이터셋, 노이즈 유형, 모델 간 평가를 표준화하여, Confident Learning이 과도하게 데이터를 제거하는 반면, SimiFeat와 AUM은 다양한 모odal과 노이즈 설정에서 뛰어난 내성과 성능을 보임을 드러낸다.

ABSTRACT

Machine learning (ML) models are only as good as the data they are trained on. But recent studies have found datasets widely used to train and evaluate ML models, e.g. ImageNet, to have pervasive labeling errors. Erroneous labels on the train set hurt ML models' ability to generalize, and they impact evaluation and model selection using the test set. Consequently, learning in the presence of labeling errors is an active area of research, yet this field lacks a comprehensive benchmark to evaluate these methods. Most of these methods are evaluated on a few computer vision datasets with significant variance in the experimental protocols. With such a large pool of methods and inconsistent evaluation, it is also unclear how ML practitioners can choose the right models to assess label quality in their data. To this end, we propose a benchmarking environment AQuA to rigorously evaluate methods that enable machine learning in the presence of label noise. We also introduce a design space to delineate concrete design choices of label error detection models. We hope that our proposed design space and benchmark enable practitioners to choose the right tools to improve their label quality and that our benchmark enables objective and rigorous evaluation of machine learning tools facing mislabeled data.

연구 동기 및 목표

• 머신러닝에서 레이블 노이즈 탐지 방법에 대한 표준화된 평가의 부족을 해결하기 위해.
• 객관적이고 재현 가능하며 종합적인 레이블 품질 평가 도구 평가를 가능하게 하는 통합된 벤치마킹 프레임워크를 제공하기 위해.
• 다양한 데이터 모달리티, 노이즈 유형, 모델 아키텍처 간에 가장 효과적인 레이블 정제 방법을 특정하기 위해.
• 실무자들이 자신의 데이터에 적합한 도구를 선택할 수 있도록 레이블 오류 탐지 모델의 설계 공간을 정의하기 위해.
• 통제된 대규모 실험 조건에서 기존 레이블 정제 방법의 성능과 내성에 대한 경험적 통찰을 드러내기 위해.

제안 방법

• AQuA는 4개의 데이터 모달리티(이미지, 타뷸라, 텍스트, 시계열), 4가지 단일 레이블 및 3가지 다중애너테이터 노이즈 주입 방법, 4개의 최신 레이블 오류 탐지 모델을 통합한다.
• 모든 실험에서 10개 이상의 분류 모델(예: ResNet-18, Distil-RoBERTa, MLP)을 사용하여 최종 성능를 평가한다.
• 정확도 이외의 여러 평가 지표를 사용하여 모델 행동을 평가한다. 이는 F1-score, AUC-ROC, 공정성, 일반화 및 내성 등을 포함한다.
• 노이즈 주입은 균일, 비대칭, 클래스 기반, 인스턴스 기반 유형을 포함하며, 노이즈 비율(0.01–0.5)을 다양하게 설정하여 1000개 이상의 고유한 실험 구성에서 수행된다.
• AQuA는 데이터 모달리티, 노이즈 유형, 모델 아키텍처별로 결과를 분할하여 일관된 성능 추세를 식별할 수 있도록 한다.
• 데이터카드와 GitHub에 공개된 오픈소스 코드를 통해 전체 재현 가능성을 보장하여 투명성과 재사용성을 확보한다.

실험 결과

연구 질문

• RQ1 어떤 레이블 오류 탐지 방법이 다양한 데이터 모달리티와 노이즈 유형에서 가장 일관되게 성능을 보이는가?
• RQ2 기본 분류 모델의 선택이 레이블 정제 방법의 성능에 어떤 영향을 미치는가?
• RQ3 노이즈 주입 전략(예: 균일 대비 비대칭)의 차이가 레이블 오류 탐지 가능성에 얼마나 큰 영향을 미치는가?
• RQ4 레이블 정제 방법은 최종 모델의 성능, 공정성, 내성에 어떤 영향을 미치는가?
• RQ5 데이터 불균형과 과도한 정제는 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• Confident Learning는 평균적으로 훈련 데이터 포인트의 57%를 제거하여 모델 용량을 크게 감소시키며, 높은 오류 탐지 정확도에도 불구하고 최종 성능이 열악해진다.
• SimiFeat와 AUM은 모든 데이터 모달리티에서 레이블 오류 탐지 정확도와 최종 모델의 F1-score에서 일관되게 상위에 위치한다.
• Cleanlab은 가중 F1 측정 기준에서 이미지 및 타뷸라 데이터에서 레이블 오류를 가장 잘 식별하지만, 시계열 및 텍스트 데이터에서는 성능이 낮다.
• 레이블 정제 방법의 성능은 노이즈 유형에 따라 크게 달라지며, 비대칭 및 인스턴스 기반 노이즈는 균일 노이즈보다 탐지하기 더 어렵다.
• CINCER와 AUM은 클래스 불균형에 거의 영향을 주지 않지만, Confident Learning는 소수 클래스의 표현을 크게 변화시켜 공정성에 악영향을 줄 수 있다.
• 모든 실험에서 SimiFeat와 AUM은 뛰어난 내성과 일관된 성능을 보이며, 노이즈 비율, 데이터 유형, 최종 모델에 관계없이 안정적인 성능을 유지한다.