[논문 리뷰] Non-Determinism in TensorFlow ResNets

Miguel Morin, Matthew Willetts|arXiv (Cornell University)|2020. 01. 30.

Advanced Neural Network Applications참고 문헌 3인용 수 12

한 줄 요약

이 논문은 텐서플로우에서 ResNet 학습 시 GPU 비결정성(Non-determinism)이 변동성의 주요 원인임을 입증한다. 이는 무작위 초기화 및 데이터 셔플링을 위한 시드를 고정한 상태에서도 테스트 정확도와 손실의 변동성의 74–87%를 차지한다. 저자들은 복잡한 딥러닝 모델의 정확도 평가를 단일 지점의 정확도 비교가 아닌 전체 성능 분포를 기반으로 평가함으로써, 모델의 강건성과 재현 가능성을 보장할 것을 주장한다.

ABSTRACT

We show that the stochasticity in training ResNets for image classification on GPUs in TensorFlow is dominated by the non-determinism from GPUs, rather than by the initialisation of the weights and biases of the network or by the sequence of minibatches given. The standard deviation of test set accuracy is 0.02 with fixed seeds, compared to 0.027 with different seeds---nearly 74\% of the standard deviation of a ResNet model is non-deterministic. For test set loss the ratio of standard deviations is more than 80\%. These results call for more robust evaluation strategies of deep learning models, as a significant amount of the variation in results across runs can arise simply from GPU randomness.

연구 동기 및 목표

• 텐서플로우에서 ResNet 학습의 성능 변동성에 기여하는 GPU 비결정성의 원인을 분리하고 정량화하는 것.
• GPU에 기인한 확률적 특성이 무작위 초기화 및 미니배치 순서와 같은 다른 랜덤성 원인을 초월함을 입증하는 것.
• 단일 지점 평가 기반의 표준 평가 방식을 도전하고, 모델 향상 평가에 분포 기반 평가를 도입할 것을 주장하는 것.
• GPU 플랫폼에서의 시드 기반 재현 가능성의 한계를 부각함으로써 딥러닝 연구의 재현 가능성을 향상시키는 것.

제안 방법

• 무작위 초기화 및 데이터 셔플링의 랜덤성 제어를 위해 텐서플로우의 그래프 수준, 연산 수준, 넘파이 시드를 고정하였다.
• GPU 리셋 명령어(예: `nvidia-smi -rac`)를 사용하여 학습 런 간 상태 의존적 변동성을 최소화하였다.
• 동일한 시드를 사용해 50번, 그리고 시드를 변경해 50번씩 ResNet-50을 CIFAR-10에서 학습시켜 GPU 비결정성을 고립하였다.
• 고정된 시드와 변동하는 시드를 사용한 런 간의 테스트 정확도 및 손실의 표준편차를 측정하고 비교하여 GPU 영향을 정량화하였다.
• 고정된 시드 조건에서 학습된 모델 가중치 및 레이어 파라미터의 동등성 비교를 수행하여 재현 가능성 여부를 검증하였다.
• GPU 아키텍처 및 컴파일러 간의 부동소수점 산술 불일치가 비결정성의 근본 원인임을 분석하였다.

실험 결과

연구 질문

• RQ1 GPU 비결정성이 다른 랜덤성 원인에 비해 텐서플로우에서 ResNet 학습의 성능 변동성에 얼마나 기여하는가?
• RQ2 초기화 및 미니배치 순서에 대해 고정된 랜덤 시드가 GPU에서 ResNet 학습의 성능 변동성을 완전히 제거할 수 있는가?
• RQ3 GPU 수준의 부동소수점 비결정성이 테스트 정확도 및 손실의 표준편차에 미치는 정량적 영향은 무엇인가?
• RQ4 관측된 비결정성이 딥러닝 연구에서 단일 지점 모델 평가의 신뢰성에 어떻게 영향을 미치는가?

주요 결과

• 초기화 및 미니배치 순서의 시드를 고정한 상태에서도, 50회의 런 동안 테스트 정확도의 표준편차는 1.995×10⁻²로 나타나, GPU 비결정성으로 인한 잔여 변동성이 존재함을 시사한다.
• 시드를 런 간에 변경한 경우, 테스트 정확도의 표준편차는 2.699×10⁻²로 증가하였으며, 이는 GPU 비결정성이 총 변동성의 73.9%를 차지함을 나타낸다.
• 테스트 손실의 경우, 고정 시드와 변동 시드 간 표준편차 비율이 0.872로 나타나, GPU 비결정성이 변동성의 80% 이상을 차지함을 의미한다.
• 동일한 시드와 재현 가능한 난수 생성을 사용함에도 불구하고, 하드웨어 및 컴파일러 구현 간 부동소수점 산술의 불일치로 인해 GPU 런 간 결과가 상이하게 나타났다.
• 관측된 변동성의 근본 원인은 동일한 입력 조건이더라도 시스템 및 런 간에 다를 수 있는 비결정적 레지스터 사용 및 부동소수점 합산 순서의 차이에서 기인한다.
• 저자들은 GPU 비결정성이 재현 가능성에 큰 장애가 되며, 단일 지점 지표가 아닌 성능 분포 기반 평가를 통해 모델 평가를 수행할 것을 결론 내린다.