[논문 리뷰] On the Ineffectiveness of Variance Reduced Optimization for Deep Learning

Aaron Defazio, Léon Bottou|arXiv (Cornell University)|2018. 12. 11.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 14

한 줄 요약

이 논문은 심층 신경망에서 분산 감소 최적화 방법—특히 SVRG와 SAGA—의 실용적 효율성을 조사한다. 볼록 설정에서 강력한 이론적 수렴 보장을 갖지만, 대규모 비볼록 심층학습 문제에서는 성능 향상이 이루어지지 않음을 입증한다. 주요 발견은 변환 锁정을 통해 분산 감소를 유지함에도 불구하고, 특히 ResNet과 DenseNet과 같은 깊은 모델에서 고도의 단계 상관관계와 계산 오버헤드로 인해 SVRG가 표준 SGD를 능가하지 못한다는 것이다.

ABSTRACT

The application of stochastic variance reduction to optimization has shown remarkable recent theoretical and practical success. The applicability of these techniques to the hard non-convex optimization problems encountered during training of modern deep neural networks is an open problem. We show that naive application of the SVRG technique and related approaches fail, and explore why.

연구 동기 및 목표

• 심층 신경망 학습에서 분산 감소 최적화 방법인 SVRG와 SAGA의 실용적 효율성을 평가하는 것.
• 볼록 설정에서는 잘 작동하지만 비볼록 심층학습 문제에서는 수렴 또는 일반화 성능 향상에 실패하는 이유를 규명하는 것.
• 데이터 증강과 단계 상관관계가 분산 감소 및 학습 동역학에 미치는 영향을 조사하는 것.
• 여러 아키텍처와 데이터셋에서 SVRG, SAGA, SGD의 수렴 속도와 테스트 정확도를 비교하는 것.
• 특히 후기 학습 단계에서 SVRG로의 미세조정이 최종 모델 성능을 향상시킬 수 있는지 탐색하는 것.

제안 방법

• CIFAR-10 및 ImageNet 데이터셋을 사용하여 LeNet, DenseNet, ResNet 아키텍처에서 SVRG와 SAGA를 실증적으로 평가한다.
• 스냅샷 전달 중에 사용된 무작위 변환을 캐시하여 데이터 증강 중 분산 감소를 유지하기 위해 변환 锁정을 적용한다.
• 실제로 분산 감소를 정량화하기 위해 에포크별 기울기 업데이트의 분산을 측정한다.
• 일관된 초모수(학습률, 모멘타ム)를 사용하여 테스트 오차에 따른 수렴 속도를 비교한다.
• ImageNet에서 다양한 학습 에포크(20, 40, 60, 80)에 SVRG 미세조정를 시행한 아블레이션 스터디를 수행하여 후기 단계의 이점을 평가한다.
• 스트리밍 버전인 SCSG를 사용하여 표준 SVRG와 비교하고, 성능 및 안정성을 평가한다.

실험 결과

연구 질문

• RQ1 SVRG나 SAGA를 통한 분산 감소가 표준 SGD에 비해 심층학습에서 더 빠른 수렴 또는 향상된 테스트 정확도를 이끌어내는가?
• RQ2 특히 무작위 변환을 포함한 데이터 증강이 SVRG에서 분산 감소의 효율성에 어떤 영향을 미치는가?
• RQ3 연속적인 SVRG 단계 간의 높은 상관관계가 이론적 우수성에도 불구하고 실용적 이점에 제한을 미치는 정도는 어느 정도인가?
• RQ4 SVRG로의 미세조정이 초기에 SGD로 학습한 후 최종 모델 성능을 향상시킬 수 있는가?
• RQ5 왜 분산 감소 방법은 조절된 분산이 이루어져도 여전히 ResNet-110 및 ResNet-18과 같은 대규모 모델에서 SGD를 능가하지 못하는가?

주요 결과

• ResNet-110(CIFAR-10)이나 ResNet-18(ImageNet)과 같은 대규모 모델에서 SVRG는 SGD보다 수렴을 향상시키지 못하며, 특히 높은 단계 상관관계로 인해 종종 성능이 열 劣하다.
• LeNet과 같은 작은 모델에서는 SVRG가 약간의 수렴 우수성을 보이지만, 이 이점은 모델 크기와 복잡도가 증가함에 따라 사라진다.
• 변환 锁정은 SVRG 업데이트 중 분산을 크게 감소시키지만, 이 감소는 더 빠른 수렴이나 더 높은 정확도로 이어지지 않는다.
• SCSG 스트리밍 버전은 SGD 및 SVRG보다 성능이 열 劣하여, 스트리밍 접근 방식이 심층학습에서 분산 감소의 근본적 한계를 극복하지 못한다는 것을 시사한다.
• ResNet-50 및 DenseNet-169에서 다양한 에포크(20–80)에 SVRG로 미세조정을 시행했지만, 순수한 SGD에 비해 성능 향상이 없었다. 모멘타움이 있음에도 불구하고 마찬가지다.
• 볼록 설정에서 이론적으로 선형 수렴 속도를 보이지만, 비볼록 심층학습에서는 높은 단계 상관관계와 계산 오버헤드로 인해 분산 감소 방법이 실용적 이점을 제공하지 못한다.