[논문 리뷰] Active Bias: Training More Accurate Neural Networks by Emphasizing High Variance Samples

Haw-Shiuan Chang, Erik Learned-Miller외 1명|arXiv (Cornell University)|2017. 04. 24.

Machine Learning and Algorithms참고 문헌 46인용 수 130

한 줄 요약

본 논문은 SGD 중 불확실한 샘플에 집중하도록 설계된 두 가지 경량의 활성 바이어스 재가중 기법을 제안합니다. 이를 통해 데이터셋과 아키텍처 전반에 걸쳐 신경망의 정확도와 견고성을 향상시킵니다.

ABSTRACT

Self-paced learning and hard example mining re-weight training instances to improve learning accuracy. This paper presents two improved alternatives based on lightweight estimates of sample uncertainty in stochastic gradient descent (SGD): the variance in predicted probability of the correct class across iterations of mini-batch SGD, and the proximity of the correct class probability to the decision threshold. Extensive experimental results on six datasets show that our methods reliably improve accuracy in various network architectures, including additional gains on top of other popular training techniques, such as residual learning, momentum, ADAM, batch normalization, dropout, and distillation.

연구 동기 및 목표

• 레이블 노이즈 가정에 의존하지 않고 쉽고 어려운 예를 균형 있게 다루며 견고한 학습을 촉진한다.
• SGD를 편향시키기 위한 두 개의 경량 불확실성 기반 방법을 개발한다: 예측 분산과 임계값 근접성 기반 재가중.
• 활성 바이어스가 여러 데이터셋과 아키텍처에서 일반화를 향상시킴을 보여준다.
• 기존 학습 기법과의 호환성 및 다양한 노이즈 조건에서의 효과를 보여준다.

제안 방법

• 미니배치 SGD 중 불확실한 샘플에 주목하는 두 가지 활성 바이어스 방법 제안: SGD-WPV(예측 분산으로 가중)와 SGD-WTC(임계값 근접성으로 가중).
• 예측 확률의 이력으로부터 예측 분산을 추정하여 샘플링이나 가중치를 안내; burn-in 에폭 이후에 사후 모수 불확실성을 가정한다.
• 경계 샘플을 타겟으로 샘플을 가중하는 임계값 근접성 목표를 사용한다: 가중치로 p(y|x)^*(1-p(y|x))의 곱을 사용.
• 바이어스를 적용하기 전에 불확실성 추정치를 안정시키기 위한 burn-in 기간을 제공한다.
• 샘플링 대 손실 가중 변형(SGD-SPV, SGD-WPV, SGD-STC, SGD-WTC)을 균일 SGD, SGD-SD, SGD-ISD 기본값과 비교한다.
• 표준 옵티마이저와 학습 기법(모멘텀, Adam, 배치 정규화, 드롭아웃, 디스틸레이션)과의 호환성을 시연한다.

실험 결과

연구 질문

• RQ1 SGD 중 불확실하거나 분산이 큰 샘플을 강조하는 것이 작업과 아키텍처 전반에 걸친 일반화 성능을 향상시키는가?
• RQ2 분산 기반과 임계값 기반 불확실성 지표가 소음 및 라벨 오염에 대해 효과적이고 강건한가?
• RQ3 활성 바이어스 방법이 일반적인 학습 기법(예: 모멘텀, ADAM, 배치 정규화, 디스틸레이션)과 어떻게 상호 작용하는가?
• RQ4 활성 바이어스를 적용할 때 신뢰할 수 있는 불확실성 추정치를 위해 burn-in이 필요한가?
• RQ5 쉬운 데이터와 어려운/노이즈가 있는 데이터셋 모두에서 학습할 때 이 방법들이 이점을 제공하는가?

주요 결과

• 활성 바이어스 방법은 여섯 개 데이터셋과 여러 아키텍처에서 지속적으로 SGD-Uni 및 SGD-Scan을 능가한다.
• SGD-WPV 및 SGD-WD는 강건한 개선을 보여주며, 노이즈가 있는 설정에서도(예: Noisy MNIST) 포함.
• 임계값 기반 가중치 부여(SGD-WTC/SGD-STC)는 CIFAR 및 NLP 작업을 포함한 여러 실험에서 경쟁력 있거나 우수한 성과를 달성한다.
• 디스틸레이션과 함께 활성 바이어스 방법들(특히 SGD-WTC)이 디스틸레이션 단독과 맞먹거나 이를 초과할 수 있어 호환성을 시사한다.
• 단순 로지스틱 회귀 베이스라인에서부터 딥 레지듀얼 네트워크까지 개선이 지속되어 광범위한 적용 가능성을 시사한다.