[논문 리뷰] Detecting Corrupted Labels Without Training a Model to Predict

Zhaowei Zhu, Zihao Dong외 1명|arXiv (Cornell University)|2021. 10. 12.

Machine Learning and Data Classification인용 수 16

한 줄 요약

이 논문은 기계학습 데이터셋의 손상된 레이블을 특성 공간 내의 근접성 정보를 활용하여 학습이 필요 없는 데이터 중심의 방법을 제안한다. 사전 추출된 특성에 기반한 국소 투표와 순위 기반 점수 평가를 통해, CIFAR-10 및 CIFAR-100과 같은 실제 노이즈가 있는 데이터셋에서 학습 기반 기준보다 최대 20% 높은 성능을 보이며, 레이블 검출이 모델 학습이나 노이즈가 있는 감독 신호 없이도 가능하다는 것을 입증한다.

ABSTRACT

Label noise in real-world datasets encodes wrong correlation patterns and impairs the generalization of deep neural networks (DNNs). It is critical to find efficient ways to detect corrupted patterns. Current methods primarily focus on designing robust training techniques to prevent DNNs from memorizing corrupted patterns. These approaches often require customized training processes and may overfit corrupted patterns, leading to a performance drop in detection. In this paper, from a more data-centric perspective, we propose a training-free solution to detect corrupted labels. Intuitively, ``closer'' instances are more likely to share the same clean label. Based on the neighborhood information, we propose two methods: the first one uses ``local voting" via checking the noisy label consensuses of nearby features. The second one is a ranking-based approach that scores each instance and filters out a guaranteed number of instances that are likely to be corrupted. We theoretically analyze how the quality of features affects the local voting and provide guidelines for tuning neighborhood size. We also prove the worst-case error bound for the ranking-based method. Experiments with both synthetic and real-world label noise demonstrate our training-free solutions consistently and significantly improve most of the training-based baselines. Code is available at github.com/UCSC-REAL/SimiFeat.

연구 동기 및 목표

• 손상된 인스턴스에 과적합할 위험이 있는 맞춤형 학습이 필요한 학습 중심의 레이블 검출 방법의 한계를 해결하기 위해.
• 모델 학습이나 노이즈 감독 없이도 특성 표현과 이웃 구조만을 사용해 레이블 노이즈를 탐지하는 데이터 중심의 학습이 필요 없는 대안을 제안하기 위해.
• 모델 기억 또는 하이퍼파라미터 튜닝에 의존하지 않고도 레이블 노이즈 검출의 강건성과 일반화 능력을 향상시키기 위해.
• 사전 훈련된 모델이나 대비 학습에서 유도된 고품질 특성은 레이블 검출 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 근처 특성들 간의 레이블 일치 여부를 확인하는 국소 투표 방법을 제안하여 손상된 인스턴스를 식별한다.
• 각 인스턴스의 깨끗한 레이블일 가능성에 따라 점수를 매기고, 낮은 점수를 받은 인스턴스를 손상된 것으로 필터링하는 순위 기반 방법을 도입한다.
• 모델 미세조정이나 노이즈 레이블로 학습이 필요 없는, 사전 훈련된 특성(예: CLIP 또는 SimCLR에서 유도)을 입력으로 사용한다.
• 이론적 분석을 통해 최적의 이웃 크기 지침을 제공하고, 순위 기반 방법의 최악의 경우 오류 한계를 증명한다.
• 모델 재학습 없이도 효율적인 계산이 가능한 코사인 거리 기반 특성 유사도를 활용해 이웃을 정의한다.
• CIFAR-10, CIFAR-100, Clothing1M 등 합성 및 실제 노이즈가 있는 데이터셋을 대상으로 방법을 검증한다.

실험 결과

연구 질문

• RQ1 노이즈 레이블로 모델을 학습하지 않고도 특성 이웃 구조만으로 레이블 손상 여부를 탐지할 수 있는가?
• RQ2 특성의 품질이 이웃 기반 레이블 검출 성능에 어떤 영향을 미치는가?
• RQ3 다른 작업이나 도메인에서 사전 훈련된 특성을 사용할 경우, 모델 로짓에 비해 검출 강건성이 향상되는가?
• RQ4 학습이 필요 없는 방법이 실제 인간 애너테이션으로 생성된 레이블 노이즈를 탐지하는 데 있어 기존 학습 기반 기준을 초월할 수 있는가?
• RQ5 제안된 순위 기반 검출 방법에 대해 오류율에 대한 이론적 보장 조건은 무엇인가?

주요 결과

• 제안된 SimiFeat 방법은 인간 수준의 레이블 노이즈가 있는 CIFAR-10 및 CIFAR-100에서 기준보다 최대 20% 높은 F1 점수를 기록하여 뛰어난 강건성을 입증한다.
• 순위 기반 방법(SimiFeat-R)은 12개 설정 중 8개에서 1위를 기록하며, CORES 및 CE Sieve조차도 능가한다.
• 대비 학습에서 유도된 특성(예: R34-C10-SSL)을 사용할 경우, CIFAR-100에서 감독 학습 기반 사전 훈련 특성보다 성능이 뛰어나, 분포 외 데이터로의 일반화 능력이 뛰어나다는 것을 시사한다.
• SimiFeat-R를 사용해 손상된 인스턴스를 필터링하면 Clothing1M에서 테스트 정확도 73.64%를 달성하여 여러 최첨단 기준을 뛰어넘는다.
• 고품질 특성을 사용할 경우 성능이 최고로 향상되며, 이상적인 특성을 사용할 경우 F1 점수가 1.0에 수렴한다.
• 다양한 노이즈 유형과 데이터셋에서 성능이 안정적이며, 특성이 대상 데이터와 동일한 분포가 아니더라도 효과적으로 작동한다.