[논문 리뷰] The Resistance to Label Noise in K-NN and DNN Depends on its Concentration

Amnon Drory, Oria Ratzon외 2명|arXiv (Cornell University)|2018. 03. 30.

Machine Learning and Data Classification참고 문헌 34인용 수 5

한 줄 요약

이 논문은 K-NN와 딥 네ural 네트워크(DNNs)가 레이블 노이즈에 저항하는 데 있어 훈련 데이터 내 노이즈의 집중도가 핵심적인 영향을 미친다고 제안한다. 레이블 노이즈 하에서 K-NN 오차에 대한 분석적 표현을 유도하여, 이 표현이 DNN 성능에 강력한 1차 근사로 작용하며, DNNs는 균일하게 퍼진 노이즈에 저항하지만 국소적으로 집중된 노이즈에서는 이웃의 잘못된 레이블에 의해 지배당함으로써 실패함을 보여준다.

ABSTRACT

We investigate the classification performance of K-nearest neighbors (K-NN) and deep neural networks (DNNs) in the presence of label noise. We first show empirically that a DNN's prediction for a given test example depends on the labels of the training examples in its local neighborhood. This motivates us to derive a realizable analytic expression that approximates the multi-class K-NN classification error in the presence of label noise, which is of independent importance. We then suggest that the expression for K-NN may serve as a first-order approximation for the DNN error. Finally, we demonstrate empirically the proximity of the developed expression to the observed performance of K-NN and DNN classifiers. Our result may explain the already observed surprising resistance of DNN to some types of label noise. It also characterizes an important factor of it showing that the more concentrated the noise the greater is the degradation in performance.

연구 동기 및 목표

• 고도로 노이즈가 많은 상황에서도 특정 유형의 레이블 노이즈에 대해 DNNs가 놀라운 저항성을 보이는 이유를 이해하는 것.
• 레이블 노이즈의 공간적 집중도가 K-NN와 DNNs의 분류 성능에 미치는 영향을 조사하는 것.
• 레이블 노이즈 하에서 K-NN 분류 오차에 대한 해석 가능한 해석식을 유도하여 모델 행동의 이론적 예측을 가능하게 하는 것.
• K-NN 모델이 노이즈 있는 훈련 환경에서 DNNs의 행동을 1차 근사로 사용할 수 있음을 검증하는 것.
• 이웃 기반 레이블 통계와 연결하여 기존의 노이즈에 강건한 훈련 기법에 대한 통찰을 제공하는 것.

제안 방법

• 저자들은 국소 이웃 레이블 분포를 기반으로, 알려진 레이블 노이즈 프로세스 하에서 다중 클래스 K-NN 분류 오차에 대한 실현 가능한 분석적 표현을 유도한다.
• 그들은 DNN의 소프트맥스 출력이 각 테스트 예제의 국소 이웃 내 훈련 예제의 레이블 분포를 반영함을 실증적으로 보여주며, K-NN 유사성에 대한 근거를 제공한다.
• 다양한 농도(균일 대 비균일)로 설정된 합성 레이블 노이즈를 사용하여 DNNs를 훈련하고, 노이즈 수준에 따른 정확도 곡선을 측정한다.
• 이러한 실증적 DNN 곡선을 분석적으로 유도된 K-NN 곡선과 비교하여 형태와 추세에서 강력한 일치를 보여준다.
• MNIST, CIFAR-10, ImageNet ILSVRC에서 이 모델을 검증하여, 다양한 데이터셋에서 근사의 강건성을 확인한다.
• DNN 출력이 혼동 행렬과 유사하다는 것을 관찰하며, 이를 디스틸레이션 기반 훈련 방법과 연결한다.

실험 결과

연구 질문

• RQ1 레이블 노이즈의 공간적 집중도는 K-NN와 DNNs의 일반화 성능에 어떻게 영향을 미치는가?
• RQ2 레이블 노이즈 하에서 K-NN 오차에 대한 분석식이 DNN 행동에 대한 1차 근사로 사용될 수 있는가?
• RQ3 왜 DNNs는 균일하게 퍼진 레이블 노이즈에서는 정확도를 유지하지만 국소적으로 집중된 노이즈에서는 성능이 떨어지는가?
• RQ4 DNN 예측이 암묵적인 특징 공간에서 훈련 예제의 국소 이웃에 얼마나 의존하는가?
• RQ5 DNN 출력에서 관찰된 이웃 기반 레이블 분포는 기존의 노이즈에 강건한 훈련 기법과 어떻게 관련이 있는가?

주요 결과

• 레이블 노이즈 하에서 K-NN 오차에 대한 분석식은 MNIST, CIFAR-10, ImageNet ILSVRC를 포함한 여러 데이터셋에서 K-NN와 DNNs의 성능을 정확히 예측한다.
• DNNs는 20% 균일하게 퍼진 레이블 노이즈 하에서 약 100% 정확도를 달성하지만, 20% 국소적으로 집중된 노이즈 하에서는 약 80% 정확도에 머무르며, 노이즈 집중도의 결정적 역할을 입증한다.
• 모델은 국소적으로 집중된 노이즈에서 노이즈 저항력이 붕괴됨을 예측하며, 잘못된 레이블이 국소 이웃을 지배할 확률이 증가하기 때문이다.
• 뒤집힘 노이즈 설정에서는 노이즈 비율이 약 50%에 가까워지면 정확도가 크게 감소하며, 이는 국소 이웃 내에서 정답 레이블이 다수를 차지하지 못하기 때문이다. 반면 균일 노이즈에서는 약 90%까지 정확도가 유지된다.
• 저자들은 DNN 소프트맥스 출력이 훈련 예제의 국소 레이블 분포를 코딩하고 있음을 관찰하여, DNN 예측의 이웃 기반 해석이 검증됨을 확인한다.
• 이 연구는 디스틸레이션 기반 훈련 방법이 혼동 행렬을 암묵적으로 학습하고 있음을 드러내며, 노이즈가 있는 레이블 하에서 DNN 출력이 이러한 행렬과 유사하다는 점을 확인한다.