[논문 리뷰] Dimensionality-Driven Learning with Noisy Labels

Xingjun Ma, Yisen Wang외 6명|arXiv (Cornell University)|2018. 06. 07.

Machine Learning and Data Classification참고 문헌 37인용 수 128

한 줄 요약

이 논문은 Dimensionality-Driven Learning (D2L)을 도입하며, Local Intrinsic Dimensionality (LID)을 사용해 학습 중 하위공간 차원을 모니터링하고 레이블 노이즈에 저항하도록 손실을 조정해 데이터셋 전반에서 견고한 일반화를 달성합니다.

ABSTRACT

Datasets with significant proportions of noisy (incorrect) class labels present challenges for training accurate Deep Neural Networks (DNNs). We propose a new perspective for understanding DNN generalization for such datasets, by investigating the dimensionality of the deep representation subspace of training samples. We show that from a dimensionality perspective, DNNs exhibit quite distinctive learning styles when trained with clean labels versus when trained with a proportion of noisy labels. Based on this finding, we develop a new dimensionality-driven learning strategy, which monitors the dimensionality of subspaces during training and adapts the loss function accordingly. We empirically demonstrate that our approach is highly tolerant to significant proportions of noisy labels, and can effectively learn low-dimensional local subspaces that capture the data distribution.

연구 동기 및 목표

• 로컬 서브스페이스 차원 관점에서 레이블 노이즈 하에서 심층 표현이 어떻게 진화하는지 동기를 부여하고 이해합니다.
• 깨끗한 라벨 vs. 노이즈 라벨에서 학습 중 Local Intrinsic Dimensionality (LID)가 어떻게 변하는지 정량화합니다.
• 차원 축소와 확장 사이의 전환점을 바탕으로 레이블과 손실을 조정하기 위한 Dimensionality-Driven Learning (D2L)을 제안합니다.
• 상당한 레이블 노이즈 하에서 D2L이 저차원의 데이터 정확한 표현과 더 간단한 가설을 산출함을 보여줍니다.
• MNIST, SVHN, CIFAR-10, CIFAR-100 전반에서 높은 노이즈 수준에 대한 강건성을 보여주는 실증적 검증을 제공합니다.

제안 방법

• 딥 표현 공간의 로컬 서브스페이스 차원을 측정하기 위해 Local Intrinsic Dimensionality (LID)을 채택합니다.
• 노이즈 라벨하에서 두 단계 학습 패턴 식별: 초기 차원 축소 후 차원 확장.
• 레이블 혼합의 적응적 도입(y* = α_i y + (1−α_i) ŷ) 여기서 α_i는 노이즈 라벨에 대한 과적합 억제를 위한 LID 기반 감소 인자입니다.
• 현재 LID를 과거 최솟값에 상대적 지수 함수로 적용해 α_i를 계산함으로써 표준 교차 엔트로피에서 보정된 손실로의 전환점을 가능하게 합니다.
• 보정된 레이블을 사용하여 네트워크를 학습시키는 손실 L을 정의합니다. 이는 LID가 이끄는 손실 보정 메커니즘으로 작동합니다.
• 최소한의 계산 오버헤드로 학습 중 배치에서 LID를 추정하는 실용 알고리즘(Algorithm 1)을 제공합니다(학습 시간의 약 1-2%).
• MNIST, SVHN, CIFAR-10, CIFAR-100에 대한 실험으로 D2L을 검증하고 Backward, Forward, Boot-hard, Boot-soft, 일반 교차 엔트로피 방식과 비교합니다.

실험 결과

연구 질문

• RQ1 깨끗한 라벨 대 노이즈 라벨에서 학습 중 딥 표현의 로컬 고유 차원이 어떻게 진화합니까?
• RQ2 노이즈 라벨 데이터셋에서 학습 중 차원 축소에서 확장으로의 전환을 감지하는 데 LID를 사용할 수 있습니까?
• RQ3 LID에 의해 안내되는 손실 보정 전략이 표준 벤치마크에서 substantial한 라벨 노이즈 하에서 일반화를 향상시키나요?
• RQ4 기존 노이즈 라벨 방법에 비해 D2L이 얻는 표현 품질과 가설의 단순성에 대한 실증적 이득은 무엇입니까?

주요 결과

Dataset / Noise Rate	cross-entropy	forward	backward	boot-hard	boot-soft	D2L
MNIST 0%	99.24 ±0.0	99.30 ±0.0	99.23 ±0.1	99.13 ±0.2	99.20 ±0.0	99.28 ±0.0
MNIST 20%	88.02 ±0.1	96.45 ±0.1	90.12 ±0.1	87.69 ±0.2	88.50 ±0.1	98.84 ±0.1
MNIST 40%	68.46 ±0.1	94.90 ±0.1	70.89 ±0.1	69.49 ±0.2	70.19 ±0.2	98.49 ±0.1
MNIST 60%	45.51 ±0.2	82.88 ±0.1	52.83 ±0.2	50.45 ±0.1	46.04 ±0.1	94.73 ±0.2
SVHN 0%	90.12 ±0.0	90.22 ±0.1	90.16 ±0.1	89.47 ±0.0	89.26 ±0.0	90.32 ±0.0
SVHN 20%	79.10 ±0.1	85.51 ±0.1	79.61 ±0.2	81.21 ±0.1	79.26 ±0.2	87.63 ±0.1
SVHN 40%	62.92 ±0.1	79.09 ±0.2	64.15 ±0.1	63.25 ±0.2	64.30 ±0.2	82.68 ±0.1
SVHN 60%	38.54 ±0.2	62.57 ±0.2	53.14 ±0.1	47.61 ±0.2	39.21 ±0.2	80.92 ±0.2
CIFAR-10 0%	89.31 ±0.1	90.27 ±0.1	89.03 ±0.2	89.06 ±0.3	89.46 ±0.2	89.41 ±0.2
CIFAR-10 20%	81.52 ±0.1	84.61 ±0.3	79.41 ±0.1	81.19 ±0.4	79.21 ±0.2	85.13 ±0.2
CIFAR-10 40%	73.51 ±0.3	82.84 ±0.2	74.69 ±0.2	76.67 ±0.2	73.81 ±0.1	83.36 ±0.3
CIFAR-10 60%	67.03 ±0.3	72.41 ±0.4	45.42 ±0.4	70.57 ±0.3	68.12 ±0.2	72.84 ±0.3
CIFAR-100 0%	68.20 ±0.2	68.54 ±0.3	68.48 ±0.3	68.31 ±0.2	67.89 ±0.2	68.60 ±0.3
CIFAR-100 20%	52.88 ±0.2	60.25 ±0.2	58.74 ±0.3	58.49 ±0.4	57.32 ±0.3	62.20 ±0.4
CIFAR-100 40%	42.85 ±0.2	51.27 ±0.3	45.42 ±0.2	44.41 ±0.1	41.87 ±0.1	52.01 ±0.3
CIFAR-100 60%	30.09 ±0.2	41.22 ±0.3	34.49 ±0.2	36.65 ±0.3	32.29 ±0.1	42.27 ±0.2

• D2L은 높은 레이블 노이즈 하에서 테스트 정확도를 안정화시키고 여러 데이터셋에서 최첨단 baseline 방법들을 능가합니다.
• D2L은 진짜 데이터 분포를 더 잘 포착하는 저차원 로컬 서브스페이스를 학습하여 일반화 개선에 기여합니다.
• CSR로 측정한 가설 복잡도는 D2L이 경쟁 방법들보다 낮아 더 매끄러운 결정 경계를 나타냅니다.
• 시각화(t-SNE)는 D2L이 표현 공간에서 더 명확한 클래스 분리와 노이즈 샘플의 더 나은 분리를 보여줍니다.
• D2L은 MNIST, SVHN, CIFAR-10, CIFAR-100 전반에서 노이즈 비율이 증가해도 정확도 저하가 더 작아 견고함을 보입니다(0%-60%).
• 이 방법은 CIFAR-10에서 LID 추정의 핵심 하이퍼파라미터인 k(이웃 수)와 m(배치 수)에 비교적 민감하지 않습니다.