[논문 리뷰] Nondeterminism and Instability in Neural Network Optimization

Cecilia Summers, Michael J. Dinneen|arXiv (Cornell University)|2021. 03. 08.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 6

한 줄 요약

이 논문은 신경망에서의 런-투-런 변동성의 근본 원인으로 확률적 경사하강법의 최적화 불안정성을 규명하며, 초기 가중치에 대한 10^-11 수준의 변화조차도 전체 무작위 재초기화와 동일한 정도의 영향을 미친다는 것을 보여준다. 이를 바탕으로 추가 학습 비용 없이도 변동성을 줄일 수 있는 가속화된 모델 앙상블과 테스트 시 증강 기법을 제안하여 재현 가능성과 신뢰할 수 있는 모델 평가를 위한 실용적 해결책을 제공한다.

ABSTRACT

Nondeterminism in neural network optimization produces uncertainty in performance, making small improvements difficult to discern from run-to-run variability. While uncertainty can be reduced by training multiple model copies, doing so is time-consuming, costly, and harms reproducibility. In this work, we establish an experimental protocol for understanding the effect of optimization nondeterminism on model diversity, allowing us to isolate the effects of a variety of sources of nondeterminism. Surprisingly, we find that all sources of nondeterminism have similar effects on measures of model diversity. To explain this intriguing fact, we identify the instability of model training, taken as an end-to-end procedure, as the key determinant. We show that even one-bit changes in initial parameters result in models converging to vastly different values. Last, we propose two approaches for reducing the effects of instability on run-to-run variability.

연구 동기 및 목표

• 신경망 학습에서 다양한 비결정성 원인의 독립적 영향을 분리하고 정량화하기 위해.
• 서로 다른 메커니즘을 가진 비결정성 원인이 비록 다르게 보이지만 동일 수준의 모델 변동성을 유도하는 이유를 탐구하기 위해.
• 최적화 과정의 불안정성—미세한 초기 가중치 변화에 대한 민감성—이 이 변동성의 핵심 원인임을 규명하기 위해.
• 학습 시간을 늘리지 않으면서도 런-투-런 변동성을 줄일 수 있는 실용적이고 저비용의 방법을 제안하고 평가하기 위해.

제안 방법

• 저자들은 파라미터 초기화, 데이터 셔플링, 데이터 증강, 드롭아웃, 비동기 학습, cuDNN 라이브러리의 난수 등 다양한 비결정성 원인을 독립적으로 분리하기 위한 실험 프로토콜을 설계하였다.
• 예측 상관관계, 앙상블 적용 시 기능적 변화, Kornblith 등(2019)과 같은 최신 유사도 기법을 포함한 다수의 메트릭을 사용해 모델 다양성을 측정하였다.
• 핵심적인 실험적 조작은 가장 작은 표현 가능한 양(약 6×10^-11)으로 단일 가중치를 변경하여 극단적인 초기화 편향을 시뮬레이션하는 것이다.
• 다양한 아키텍처(ResNet, VGG, ShuffleNet)와 데이터셋(CIFAR-10, MNIST, ImageNet)을 대상으로 이러한 편향의 영향을 평가하였다.
• 두 가지 완화 전략을 제안하고 테스트하였으며, 각각 학습 중 조기에 앙상블을 수행하는 가속화된 모델 앙상블과 추론 시 적용하는 테스트 시 증강(TTA)이다.
• 모든 실험은 통계적 안정성을 확보하기 위해 제어된 난수 시드와 다중 런을 사용하였으며, 코드는 공개되었다.

실험 결과

연구 질문

• RQ1 다양한 비결정성 원인(예: 초기화, 데이터 셔플링, cuDNN)이 모델 성능의 변동성에 유사한 영향을 미치는가?
• RQ2 서로 다른 메커니즘을 가진 비결정성 원인이 비록 다를 것 같지만 동일 수준의 모델 다양성을 유도하는 이유는 무엇인가?
• RQ3 최적화 과정 자체의 불안정성이 다양한 원인에 관계없이 관측된 변동성의 근본 원인인가?
• RQ4 학습 시간이나 계산 비용을 늘리지 않고도 모델 변동성을 줄일 수 있는가?
• RQ5 가속화된 앙상블과 테스트 시 증강이 다양한 아키텍처와 데이터셋에서 런-투-런 변동성을 얼마나 줄이는가?

주요 결과

• 무작위 초기화, 데이터 셔플링, 저수준 라이브러리 난수 등 모든 비결정성 원인이 거의 동일한 수준의 모델 다양성과 성능 변동성을 유도한다.
• 단일 초기 가중치의 비트 단위 변경(약 6×10^-11)이 전체 무작위 재초기화와 동일한 정도의 변동성을 유도한다.
• 확률적 경사하강법의 불안정성이 이 변동성의 주요 원인이며, 초기 매개변수의 미세한 편향이 최종 모델 가중치의 큰 분리로 이어진다.
• 가속화된 모델 앙상블과 테스트 시 증강은 모든 메트릭에서 모델 변동성을 줄이며, 특히 쌍별 다양성 메트릭과 더 큰 모델에서 효과가 뚜렷하다.
• MNIST에서는 오직 테스트 시 증강만이 변동성을 유의미하게 줄였으며, 이는 모델 용량과 과적합 여부가 완화 전략의 효과에 영향을 줄 수 있음을 시사한다.
• 이러한 발견은 다양한 아키텍처(ResNet-6, ResNet-14, VGG-11, ShuffleNet, ResNet-18)와 데이터셋(CIFAR-10, MNIST, ImageNet)에서 모두 성립하여 이 불안정성 현상의 일반성을 확인한다.