[논문 리뷰] Fix your Models by Fixing your Datasets

Atindriyo Sanyal, Vikram Chatterji외 4명|arXiv (Cornell University)|2021. 12. 15.

Big Data and Business Intelligence인용 수 4

한 줄 요약

이 논문은 레이블 노이즈를 체계적으로 식별하고 레이블링에 가장 유용한 샘플을 선별함으로써 기계학습 모델 성능을 햖थ하는 데이터 중심 프레임워크를 제안한다. 신뢰도-확신도 기반 및 확신 기반 방법을 사용하여 레이블링 비용을 줄이고 정확도를 높이며, 노이즈가 많은 데이터셋에서 최대 99.7%의 F1 점수와 기업 데이터에서 92.7%의 F1 점수를 달성했다. 이는 잘못된 레이블이 제거된 후의 성능이다.

ABSTRACT

The quality of underlying training data is very crucial for building performant machine learning models with wider generalizabilty. However, current machine learning (ML) tools lack streamlined processes for improving the data quality. So, getting data quality insights and iteratively pruning the errors to obtain a dataset which is most representative of downstream use cases is still an ad-hoc manual process. Our work addresses this data tooling gap, required to build improved ML workflows purely through data-centric techniques. More specifically, we introduce a systematic framework for (1) finding noisy or mislabelled samples in the dataset and, (2) identifying the most informative samples, which when included in training would provide maximal model performance lift. We demonstrate the efficacy of our framework on public as well as private enterprise datasets of two Fortune 500 companies, and are confident this work will form the basis for ML teams to perform more intelligent data discovery and pruning.

연구 동기 및 목표

• 기계학습 워크플로우에서 체계적인 데이터 품질 도구의 부족으로 인한 비효율적이고 수동적인 데이터 정제 및 레이블링 문제를 해결한다.
• 모델 학습 비용을 줄이고 일반화 성능을 향상시키기 위해 모델 크기를 무작정 늘리는 대신 잘못된 레이블 데이터를 식별하고 제거한다.
• 제한된 레이블링 예산을 최적화하여 모델 성능 향상을 최대화하는 데 기여하는 가장 정보가 풍부한 샘플을 선별한다.
• 데이터 중심 기법을 활용해 생산 환경의 기계학습 시스템에서 확장 가능하고 자동화된 데이터 관찰 기능을 제공한다.
• 실제 적용 가능성을 공개 및 기업 내 비공개 데이터셋을 대상으로 검증하여 실제 환경에서의 영향을 입증한다.

제안 방법

• 모델의 신뢰도(μ)와 예측 마진(δ)을 조합한 데이터 의존적 신뢰도-확신도 메트릭을 사용하여 각 샘플의 잘못된 레이블 가능성에 점수를 매긴다.
• 최전단 학습 에포크의 출력 기반으로, 가장 낮은 90번째 백분위수의 신뢰도-확신도 점수를 가진 샘플을 노이즈 레이블 후보로 선정한다.
• Confident Learning을 활용한 데이터 독립적 접근법을 적용하여 클래스 조건부 공동 분포(Q)를 추정하고, 높은 신뢰도 점수를 통해 잘못된 레이블 샘플을 식별한다.
• 레이블링이 되지 않은 데이터에 대해 코어셋 선택 기법을 적용하여, 최소한의 레이블링 예산으로도 모델 성능 향상에 기여하는 다양한, 영향력 있는 샘플을 식별한다.
• 사전 학습된 베이스라인 모델의 모델 임베딩을 사용하여 코어셋의 다양성을 계산함으로써, 결정 경계와 희귀 클러스터를 모두 포함하는 것을 보장한다.
• 두 방법을 통합한 파이프라인을 구현하여 반복적인 데이터 정제와 선택적 레이블링을 가능하게 하여 인간의 노력은 최소화하면서도 성능 향상을 극대화한다.

실험 결과

연구 질문

• RQ1 기계학습 데이터셋에서 모델 아키텍처를 수정하지 않고도 잘못된 레이블을 체계적으로 탐지할 수 있는 방법은 무엇인가?
• RQ2 실제 데이터셋에서 레이블 오류를 식별하는 데 있어 데이터 의존적 방법과 데이터 독립적 방법의 상대적 효과는 어떻게 다른가?
• RQ3 제한된 레이블링 예산을 어떻게 최적의 방식으로 배분하여 모델 성능 향상을 극대화할 수 있는가?
• RQ4 코어셋 샘플링이 모델 학습에 있어 다양하고 정보가 풍부한 샘플을 캡처하는 데 있어 확신 기반 샘플링을 능가할 수 있는가?
• RQ5 데이터 중심 기법을 통해 생산 환경에서 레이블링 비용을 줄이고 정확도 및 강인성을 향상시킬 수 있는 정도는 어느 정도인가?

주요 결과

• 신뢰도-확신도 방법은 Newsgroup20 데이터셋에서 2,032개의 잘못된 레이블 샘플을 식별하여 오류로 인한 성능 저하를 줄이고 F1 점수를 98.9%로 향상시켰다.
• 확신 기반 방법은 Toxicity 데이터셋에서 99.7%의 F1 점수를 기록하여 베이스라인 모델을 초월했으며, 노이즈가 많은 실세계 데이터에서 강력한 일반화 성능을 입증했다.
• 코어셋 샘플링은 뉴스그룹20 데이터셋에서 뿐만 아니라, 랜덤 샘플링 및 확신 기반 샘플링보다도 더 다양한 데이터 영역을 캡처하기 위해 뿐만 아니라, 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿐만 아니라 뿌리내리지 못한 클러스터를 포괄하는 데 성공했다.
• 기업 내 비공개 데이터셋에서 이 프레임워크는 각각 382개와 117개의 잘못된 레이블을 줄였으며, 정제 후 정확도가 각각 92.7%와 86.3%로 향상되었다.
• 코어셋 방법은 임베딩 공간의 우상단 영역에서 이전에 발견되지 않은 클러스터를 포착하여, 확신 기반 샘플링 대비 뛰어난 다양성을 입증했다.
• 이 프레임워크는 더 작은, 더 고품질의 데이터셋을 제공함으로써 모델 학습 시간과 어노테이션 비용을 줄였으며, 성능을 손상시키지 않았다.