[논문 리뷰] Robust Training with Ensemble Consensus

Jisoo Lee, Sae-Young Chung|arXiv (Cornell University)|2019. 10. 22.

Machine Learning and Data Classification참고 문헌 34인용 수 9

한 줄 요약

이 논문은 학습된 신경망의 변형된 버전들 간의 공감대를 활용하여 노이즈가 있는 예제를 식별하고 제거함으로써 강건한 학습 방법인 앙상블 공감 학습(Learning with Ensemble Consensus, LEC)을 제안한다. 여러 변형된 모델을 통해 일관되게 손실이 작은 예제들만을 포함하도록 학습 데이터를 필터링함으로써, MNIST, CIFAR-10, CIFAR-100과 같은 노이즈가 있는 데이터셋에서 일반화 성능을 크게 향상시키며, 노이즈 비율 추정 오차에 대해 더 강건한 성능을 보이며 최신 기술(SOTA)을 초월한다.

ABSTRACT

Since deep neural networks are over-parameterized, they can memorize noisy examples. We address such a memorization issue in the presence of label noise. From the fact that deep neural networks cannot generalize to neighborhoods of memorized features, we hypothesize that noisy examples do not consistently incur small losses on the network under a certain perturbation. Based on this, we propose a novel training method called Learning with Ensemble Consensus (LEC) that prevents overfitting to noisy examples by removing them based on the consensus of an ensemble of perturbed networks. One of the proposed LECs, LTEC outperforms the current state-of-the-art methods on noisy MNIST, CIFAR-10, and CIFAR-100 in an efficient manner.

연구 동기 및 목표

• 노이즈 있는 레이블에 과적합되는 딥 신경망 문제를 해결하기 위해 기억된( memorized ) 예제를 식별하고 제거하는 것.
• 모델 파rameter의 변형에 따른 손실 일관성 기반으로 앙상블를 활용하여 청소된 예제와 노이즈가 있는 예제를 구분함으로써 학습의 강건성을 향상시키는 것.
• 실제 노이즈 데이터셋에서 흔히 발생하는 노이즈 비율 추정 오차에 대해 강건한 방법을 개발하는 것.
• SGD로 최적화되는 임의의 아키텍처에 적용 가능한 일반적인 학습 프레임워크를 개발하는 것. 이는 기본적인 SGD 최적화 행동에 기반한다.

제안 방법

• 초기 모델을 전체 데이터셋으로 학습하고, 손실이 작은 예제들(100−ε%)을 청소된 데이터 후보로 식별한다.
• 기본 모델에 다양한 파rameter 변형(예: 가중치 노이즈, 가중치 드롭, 가중치 재배치 등)을 적용하여 변형된 모델의 앙상블을 생성한다.
• 모든 앙상블 구성원에서 일관되게 작은 손실을 기록하는 예제들만을 유지함으로써 노이즈 있는 예제를 필터링하며, 이는 손실이 작은 집합의 교집합을 형성한다.
• 최종 학습은 오직 모든 M개의 변형된 네트워크에서 손실이 작은 집합에 포함된 예제들만을 대상으로 진행되어, 낮은 손실에 대한 공감대를 확보한다.
• 대칭, 비대칭, 오픈 세트 노이즈 설정에서 평가된, 다양한 변형 유형을 가진 세 가지 LEC 변종(LTEC)을 제안한다.
• 기존 관찰에 기반하여, 기억된(노이즈 있는) 특징들은 변형에 따라 손실이 변동하는 반면, 일반화된(청결한) 특징들은 손실에서 안정성을 유지함을 확인한다.

실험 결과

연구 질문

• RQ1 변형된 모델들 간의 앙상블 공감이, 손실이 작은 집합에 잘못 포함된 노이즈 있는 예제들을 효과적으로 식별하고 필터링할 수 있는가?
• RQ2 다양한 수준의 레이블 노이즈 하에서 제안된 LEC 방법이 최신 기술 기반 강건 학습 방법보다 어떻게 성능을 내는가?
• RQ3 실제 데이터셋에서 흔히 발생하는 진짜 노이즈 비율 추정 오차에 대해 LEC는 어느 정도 강건한가?
• RQ4 이 방법은 다양한 신경망 아키텍처와 최적화 설정 간에도 일반화 가능한가?

주요 결과

• LTEC는 대칭 및 비대칭 레이블 노이즈 하에서 MNIST, CIFAR-10, CIFAR-100에서 최신 기술 성능을 달성하며, 표준 학습 대비 최대 8.5%의 테스트 정확도 향상을 보였다.
• 20% 대칭 노이즈가 있는 CIFAR-10에서 LTEC는 88.79%의 테스트 정확도(피크)를 기록했으며, Co-teaching(86.45%)와 표준 학습(85.30%)을 모두 초월했다.
• LTEC는 노이즈 비율 추정 오차에 대해 강력한 내성 강건성을 보였다: 과도하게 추정된 노이즈 비율 하에서도 성능이 유지되었고, 반면 Co-teaching는 저평가된 비율 하에서 성능이 크게 떨어졌다.
• 아키텍처 간 성능 유지가 뛰어나, ResNet-20는 20% 비대칭 노이즈 하에서 LTEC를 사용할 경우 89.04%의 테스트 정확도를 기록했고, 표준 학습 대비 87.32%보다 높았다.
• 앙상블 크기 M을 늘려도 성능 향상이 항상 이루어지지 않으며, 너무 많은 예제들이 제거될 수 있어, 필터링의 엄격함과 학습 세트 크기 간의 균형을 유지하는 것이 중요함을 시사한다.
• 앙상블 공감 메커니즘이 고노이즈 수준(예: 60% 대칭 노이즈)에서도 손실이 작은 집합에 잘못 포함된 노이즈 있는 예제들을 효과적으로 필터링함을 확인했으며, 이는 CIFAR-10에서 LTEC가 81.46%의 정확도를 기록한 것으로 확인되었다.