[논문 리뷰] Torch.manual_seed(3407) is all you need: On the influence of random seeds in deep learning architectures for computer vision

David Picard|arXiv (Cornell University)|2021. 09. 16.

Advanced Neural Network Applications인용 수 39

한 줄 요약

본 논문은 무작위 시드가 컴퓨터 비전(CV) 모델의 정확도에 미치는 영향을 조사하고, 시드로 인한 분산이 대규모 데이터세트와 사전학습 모델에서도 상당할 수 있음을 보여주며, 연구 결과 보고 시 난수 정보 공개를 요구한다.

ABSTRACT

In this paper I investigate the effect of random seed selection on the accuracy when using popular deep learning architectures for computer vision. I scan a large amount of seeds (up to $10^4$) on CIFAR 10 and I also scan fewer seeds on Imagenet using pre-trained models to investigate large scale datasets. The conclusions are that even if the variance is not very large, it is surprisingly easy to find an outlier that performs much better or much worse than the average.

연구 동기 및 목표

• CIFAR-10 및 ImageNet 실험에서 모델 정확도의 분포를 무작위 시드에 따라 평가한다.
• 성능에서 시드로 인해 발생하는 이상치(블랙스완)의 존재 여부와 크기를 파악한다.
• CV 모델에서 더 큰 데이터세트로의 사전학습이 시드 유발 변동성을 완화하는지 평가한다.
• 결과 보고 시 무작위성에 관한 강 robust한 실험 관행에 대한 지침을 제공한다.

제안 방법

• CIFAR-10에서 500개의 시드로 긴 학습을 수행하여 수렴 안정성과 시드 가변성을 평가하고, 10,000개의 시드로 짧은 학습을 수행하여 가변성을 평가한다.
• ResNet50(감독학습 및 SSL) 및 SSL ViT를 이용한 ImageNet에서 프리트레이닝된 모델을 시드당 50개로 평가하고 최종 정확도의 변동성을 측정한다.
• Momentum 및 가중치 감소를 사용하는 SGD를 사용하고 코사인 학습률감쇠를 적용하며, 최종 수렴 통계치(평균, 표준편차, 최소, 최대)를 비교한다.
• 재현성을 가능하게 하기 위해 코드와 결과를 공개적으로 공유한다(GitHub: deepseed).
• 실용적인 연구 설정을 시뮬레이션하기 위해 실험을 약 1000 GPU-시간 예산으로 제약한다.

실험 결과

연구 질문

• RQ1 수렴 후 시드에 따른 정확도 분포는 어떠한가?
• RQ2 더 좋거나 더 나쁜 성능을 낼 수 있는 시드 구성(블랙 스완)이 존재하는가?
• RQ3 ImageNet에서 다운스트림 미세조정 시 더 큰 데이터세트로의 사전학습이 시드로 인한 변동성을 줄이는가?

주요 결과

• 긴 학습으로 CIFAR-10에서 최종 정확도 분포는 평균 주위에 집중되며 변동성이 작다(평균 90.70, 표준편차 0.20, 최솟값 90.14, 최댓값 91.41).
• CIFAR-10에서 10,000개의 시드(짧은 학습)를 사용하면 최대-최솟값 차이가 1.82포인트(89.01%에서 90.83%)로 시드가 실질적으로 다른 결과를 낳을 수 있음을 보여준다.
• 사전학습된 모델을 사용한 ImageNet에서 시드로 인한 변동성은 더 작지만 여전히 존재한다(표준편차 약 0.1% 수준이지만 최소-최대 차이가 약 0.5%에 이른다), 대규모 사전학습에서도 시드가 결과에 영향을 줄 수 있음을 시사한다.
• 시작 가중치가 프리트레이닝된 상태라도 시드 변동은 지속되며, 더 큰 데이터세트나 사전학습이 난수성을 완전히 제거하진 못한다.
• 연구는 많은 최근 CV 연구가 암묵적 시드 탐색으로 과대해석될 수 있다고 주장하며 여러 시드에 걸친 평균, 표준편차, 최소값, 최대값 보고를 권고한다.