[논문 리뷰] Training Neural Networks for and by Interpolation

Leonard Berrada, Andrew Zisserman외 1명|arXiv (Cornell University)|2019. 06. 13.

Neural Networks and Applications참고 문헌 56인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망을 위한 적응형 최적화 알고리즘인 ALI-G를 소개한다. ALI-G는 모델의 보간 성질을 활용하여 학습률을 닫힌 형태로 계산함으로써 수동적인 학습률 감소 스케줄링이 필요 없도록 한다. ALI-G는 다양한 아키텍처와 데이터셋에서 최신 기술 수준의 성능을 달성하며, SGD 및 Adam과 같은 적응형 방법과 비교해도 성능이 뛰어나거나 이를 초월한다. 또한 최소한의 하이퍼파rameter 튜닝으로도 성능을 내는 데 성공한다.

ABSTRACT

In modern supervised learning, many deep neural networks are able to interpolate the data: the empirical loss can be driven to near zero on all samples simultaneously. In this work, we explicitly exploit this interpolation property for the design of a new optimization algorithm for deep learning, which we term Adaptive Learning-rates for Interpolation with Gradients (ALI-G). ALI-G retains the two main advantages of Stochastic Gradient Descent (SGD), which are (i) a low computational cost per iteration and (ii) good generalization performance in practice. At each iteration, ALI-G exploits the interpolation property to compute an adaptive learning-rate in closed form. In addition, ALI-G clips the learning-rate to a maximal value, which we prove to be helpful for non-convex problems. Crucially, in contrast to the learning-rate of SGD, the maximal learning-rate of ALI-G does not require a decay schedule, which makes it considerably easier to tune. We provide convergence guarantees of ALI-G in various stochastic settings. Notably, we tackle the realistic case where the interpolation property is satisfied up to some tolerance. We provide experiments on a variety of architectures and tasks: (i) learning a differentiable neural computer; (ii) training a wide residual network on the SVHN data set; (iii) training a Bi-LSTM on the SNLI data set; and (iv) training wide residual networks and densely connected networks on the CIFAR data sets. ALI-G produces state-of-the-art results among adaptive methods, and even yields comparable performance with SGD, which requires manually tuned learning-rate schedules. Furthermore, ALI-G is simple to implement in any standard deep learning framework and can be used as a drop-in replacement in existing code.

연구 동기 및 목표

• SGD에서 수동적인 학습률 스케줄링 문제를 해결하기 위해, 이는 시간이 오래 걸리고 튜닝이 어려운 문제이다.
• SGD의 일반화 성능를 유지하면서도 학습률 감소가 필요 없는 적응형 최적화 알고리즘을 설계하기 위해.
• 현대의 깊이 신경망에서 손실가 0에 가까워지는 보간 성질을 활용하여 이론적으로 탄탄한 기반을 제공하는 적응형 학습률를 유도하기 위해.
• 정확한 보간이 아니라 근사적인 보간 조건이 성립하는 현실적인 조건에서도 수렴 보장을 제공하기 위해.
• 표준 딥러닝 프레임워크와 호환되는 간단하고 즉각 사용 가능한 최적화기 개발하기 위해.

제안 방법

• ALI-G는 손실와 기울기 노름의 비율을 이용해 보간 모델에서 손실가 0에 수렴한다는 사실을 활용하여 닫힌 형태의 적응형 학습률를 계산한다.
• 학습률를 최대값으로 클리핑함으로써 비볼록 문제에서 수렴을 향상시킨다는 것이 증명되었다.
• 최대 학습률는 단일의 변화하지 않는 하이퍼파rameter이며, Adam이나 aProx와 같은 방법들보다 튜닝이 간편하다.
• ALI-G는 스트로스틱 환경에서 작동하며, 정규화를 다루기 위해 제약집합 Ω를 사용하여 투영이 계산적으로 효율적이도록 한다.
• 이론적 분석을 통해 볼록성 및 제한된 시컨트 부등식(Restricted Secant Inequality, RSI) 조건 하에서의 수렴 속도를 확립하였으며, 최소 손실의 근사적 추정치가 존재하는 경우에도 적용 가능하다.
• 이 방법은 하향 기울기 방법의 원리에서 유도되었으며, Frank-Wolfe 및 L4와 유사하지만 더 탄탄한 이론적 기반과 더 적은 하이퍼파rameter를 갖춘다.

실험 결과

연구 질문

• RQ1 현대의 깊이 신경망에서 보간 성질을 활용해 닫힌 형태의 적응형 학습률를 계산할 수 있는가?
• RQ2 감소가 필요 없이도 고정된 최대 학습률이 비볼록 최적화에서 수렴을 향상시키는가?
• RQ3 ALI-G는 다양한 아키텍처와 데이터셋에서 최신 기술 수준의 성능를 달성하면서도 최소한의 하이퍼파rameter 튜닝을 요구하는가?
• RQ4 SGD가 수동적인 학습률 스케줄링이 필요한 상황에서 ALI-G는 SGD 및 Adam과 같은 적응형 방법과 비교해 실질적인 성능에서 어떻게 나타나는가?
• RQ5 근사적인 보간과 스트로스틱 설정 조건 하에서 ALI-G의 이론적 수렴 보장은 무엇인가?

주요 결과

• ALI-G는 Wide Residual Network와 Densely Connected Network를 사용한 CIFAR-10 및 CIFAR-100 데이터셋에서 최신 기술 수준의 테스트 정확도를 달성하며, Adam, AMSGrad 및 L4 변종을 모두 능가한다.
• SVHN 데이터셋에서는 WRN100에서 95.3%의 정확도를 기록하여, 수동 학습률 스케줄링이 필요한 SGD(95.1%)와 유사한 성능를 보였다.
• Bi-LSTM를 사용한 SNLI 데이터셋에서는 경쟁력 있는 성능를 기록하여, 시각 작업을 넘어서 일반화 능력을 입증하였다.
• ImageNet에서는 데이터 증강 없이도 Adam 및 SGD와 유사한 상위 5위 정확도를 달성하였으며, 단일의 변화하지 않는 학습률 하이퍼파rameter만 필요로 하였다.
• 여러 실행에서 ALI-G의 표준편차는 항상 낮았으며, 예를 들어 WRN100에서 0.09~0.22의 범위를 보였다. 이는 높은 학습 안정성을 의미한다.
• 이론적 분석을 통해 ALI-G는 RSI 및 미끄럼성 가정 하에서 선형적으로 수렴함을 확인하였으며, 수렴 속도는 최대 학습률 및 문제 상수에 따라 달라진다.