[논문 리뷰] A Topological Filter for Learning with Label Noise

Pengxiang Wu, Songzhu Zheng외 3명|arXiv (Cornell University)|2020. 12. 09.

Topological and Geometric Data Analysis인용 수 15

한 줄 요약

이 논문은 딥러닝에서 레이블 노이즈를 필터링하기 위한 새로운 위상적 방법인 TopoFilter를 제안한다. 이 방법은 잠재 특징 공간에서 청소료 데이터의 공간적 군집 구조를 활용하여, 각 클래스별로 가장 큰 연결된 성분을 반복적으로 선택하고 표현을 정제함으로써 상태최저 수준의 강건성과 청소료 데이터 수집의 순도 및 다수성에 대한 이론적 보장을 달성한다. 이는 다양한 노이즈 설정에서 CIFAR-10, CIFAR-100 및 실제 세계의 Clothing1M에서 기존 방법들을 능가한다.

ABSTRACT

Noisy labels can impair the performance of deep neural networks. To tackle this problem, in this paper, we propose a new method for filtering label noise. Unlike most existing methods relying on the posterior probability of a noisy classifier, we focus on the much richer spatial behavior of data in the latent representational space. By leveraging the high-order topological information of data, we are able to collect most of the clean data and train a high-quality model. Theoretically we prove that this topological approach is guaranteed to collect the clean data with high probability. Empirical results show that our method outperforms the state-of-the-arts and is robust to a broad spectrum of noise types and levels.

연구 동기 및 목표

• 레이블 노이즈로 인해 모델 성능이 심각하게 저하되는 문제를 해결하기 위해, 잘못된 레이블을 기억하는 것이 원인임을 인지한다.
• 예측 신뢰도에만 의존하는 기존 방법의 한계를 극복하기 위해, 이론적 기반 없이 다양한 노이즈 패턴에 일반화되지 않는다는 점을 해결한다.
• 잠재 표현 공간에서 데이터의 공간적 위상적 구조를 활용한다. 여기서 청소료 샘플은 조밀한 군집을 이루고, 노이즈 샘플은 고립되어 있다.
• 청소료 데이터 수집 시 순도가 높고(신중함) 동시에 다수성도 높은(공격적임) 방법을 개발하여 강건한 모델 훈련을 보장한다.
• 데이터 분포와 표현에 대해 약한 가정 하에 청소료 데이터 수집에 이론적 보장을 제공한다.

제안 방법

• TopoFilter는 각 클래스의 특징 표현에 대한 k-최근접 이웃 그래프에서 가장 큰 연결된 성분을 탐지하여 청소료 데이터를 식별한다.
• 노이즈 분류기에서 유도된 왜곡된 표현에 강건하기 위해, 가장 큰 성분의 외곽층을 반복적으로 제거하여 핵심 부분만 유지한다.
• 알고리즘은 국소 연결성을 모델링하기 위해 k-최근접 이웃 그래프를 사용하며, k 값은 데이터 밀도와 검증 성능에 기반하여 선택된다.
• 표현 학습과 데이터 선택을 공동으로 최적화한다: 깊은 신경망은 수집된 청소료 데이터로 재학습되며, 반복 과정에서 특징 품질이 향상된다.
• 예측 신뢰도나 손실 값에 의존하지 않고, 연결된 성분과 같은 위상적 불변량을 활용하여 데이터 선택을 이끌어낸다.
• 이론적 분석을 통해 약한 가정(유계 지지, 연속적인 조건부 분포, 연결된 결정 영역) 하에 TopoFilter가 높은 확률로 청소료 데이터를 수집함을 증명한다.

실험 결과

연구 질문

• RQ1 레이블 노이즈로 인해 왜곡된 표현이 존재하더라도, 잠재 특징 공간에서 위상적 구조를 신뢰성 있게 청소료 데이터와 노이즈 데이터를 구분하는 데 사용할 수 있는가?
• RQ2 위상적 연결성에 기반한 데이터 선택 방법이 예측 신뢰도 기반 방법보다 청소료 데이터의 순도와 다수성을 모두 높일 수 있는가?
• RQ3 다양한 노이즈 유형과 수준에서 강력한 성능을 유지하는, 이론적으로 탄탄한 레이블 노이즈 필터링 방법이 존재하는가?
• RQ4 표현과 데이터 선택을 반복적으로 개선하는 과정이 강건하고 고정확도 모델로 수렴하는가?
• RQ5 실제 노이즈가 있는 데이터셋인 Clothing1M에서 위상적 접근 방식이 최신 기술 대비 실증적으로 어떻게 비교되는가?

주요 결과

• 60% 균일 노이즈가 있는 CIFAR-10에서 TopoFilter는 74.10%의 테스트 정확도를 달성하여, 다음으로 좋은 방법인 PENCIL(73.49%)을 능가하고 새로운 최고 기록을 수립했다.
• 레이블 정확도가 약 61.54%로 추정되는 실제 세계의 Clothing1M 데이터셋에서, TopoFilter는 1만 개의 청소료 테스트 세트에서 74.10%의 분류 정확도를 기록했으며, SL, GCE, DY를 포함한 모든 베이스라인을 능가했다.
• CIFAR-10과 CIFAR-100에서 다양한 노이즈 유형과 수준에 걸쳐 일관된 승리를 보이며, 다양한 노이즈 패턴에 대한 강건성을 입증했다.
• 데이터 분포와 표현에 대해 약한 가정 하에 청소료 데이터 수집의 순도와 다수성에 이론적으로 높은 수준의 보장을 확보했다.
• 데이터 선택의 계산 비용(기본 k-NN 및 연결된 성분 계산)은 약 25초/에포크 수준으로 관리 가능하여 대규모 훈련에 실용적이다.
• 실증 결과는 노이즈 훈련으로 인해 왜곡된 표현이 존재하더라도 위상적 직관이 유지됨을 확인했으며, 이는 방법의 강건성을 검증한다.