[논문 리뷰] Gradient-only line searches: An Alternative to Probabilistic Line Searches

Dominic Kafka, Daniël N. Wilke|arXiv (Cornell University)|2019. 03. 22.

Robotics and Sensor-Based Localization참고 문헌 38인용 수 11

한 줄 요약

이 논문은 서로서티드 또는 함수 값 추정치를 사용하지 않고, 확률적 신경망 학습에서 학습률을 자동으로 결정하기 위한 계산적으로 효율적인 방법인 Gradient-Only Line Searches that are Inexact (GOLS-I)를 제안한다. 방향 도함수의 부호 변화를 감지하여 Stochastic Non-Negative Associated Gradient Projection Points (SNN-GPPs)를 탐지함으로써, GOLS-I는 15개의 주요 오브젝트 범위에 걸쳐 단계 크기를 조정하고, 대규모 미니배치 설정에서 확률적 선 탐색(PrLS)을 능가하며 더 뛰어난 학습 안정성과 수렴성을 달성한다.

ABSTRACT

Step sizes in neural network training are largely determined using predetermined rules such as fixed learning rates and learning rate schedules. These require user input or expensive global optimization strategies to determine their functional form and associated hyperparameters. Line searches are capable of adaptively resolving learning rate schedules. However, due to discontinuities induced by mini-batch sub-sampling, they have largely fallen out of favour. Notwithstanding, probabilistic line searches, which use statistical surrogates over a limited spatial domain, have recently demonstrated viability in resolving learning rates for stochastic loss functions. This paper introduces an alternative paradigm, Gradient-Only Line Searches that are Inexact (GOLS-I), as an alternative strategy to automatically determine learning rates in stochastic loss functions over a range of 15 orders of magnitude without the use of surrogates. We show that GOLS-I is a competitive strategy to reliably determine step sizes, adding high value in terms of performance, while being easy to implement.

연구 동기 및 목표

• 미니배치 서브샘플링으로 인한 불연속성으로 인해 전통적인 선 탐색이 실패하는 확률적 신경망 학습에서 최적의 학습률을 자동으로 결정하는 데 도전하는 것.
• 가우시안 프로세스 서로서티드와 분산 추정치에 의존하는 확률적 선 탐색(PrLS)의 더 단순하고 효율적인 대안을 개발하는 것.
• 현대 딥러닝에서 흔한 동적 미니배치 서브샘플링(dynamic MBSS) 상황에서 강력하고 적응적인 단계 크기 선택을 가능하게 하는 것.
• 지속적인 손실 함수에서 최소값을 효과적으로 탐지하는 데에, 방향 도함수의 부호 변화와 같은 기울기 정보만으로도 충분한지 입증하는 것.
• 비용이 많이 들고 복잡한 서로서티 모델링을 피하면서도 높은 성능을 유지하는, PrLS의 실용적이고 쉽게 구현 가능한 대안을 제공하는 것.

제안 방법

• GOLS-I는 내림쪽 방향을 따라 진행되는 함수 평가에서의 기울기 정보를 이용해, 기울기 도함수의 부호 변화(음성에서 양성으로의 전환)를 감지함으로써 Stochastic Non-Negative Associated Gradient Projection Points (SNN-GPPs)를 탐지한다.
• 함수 값 추정치나 서로서티 모델이 필요 없이, 내림쪽 방향을 따라 연속적인 함수 평가에서의 기울기 정보만을 사용한다.
• SNN-GPPs의 위치에 기반하여, α_min = 10⁻⁸에서 α_max = 10⁷까지 15개의 주요 오브젝트 범위에 걸쳐 단계 크기를 동적으로 조정한다.
• 손실 표면에 불연속성이 발생하는 동적 미니배치 서브샘플링 환경에서 작동하며, 각 기울기 평가마다 새로운 미니배치를 샘플링한다.
• 알고리즘은 샘플링 노이즈와 불연속성에 강건하며, 기울기 도함수의 부호 변화를 국소 최소값의 지표로 간주한다.
• 확률적 모델링이나 분산 추정치가 필요 없는 비연속 손실 함수에서 기능적 선 탐색으로 구현되어 있다.

실험 결과

연구 질문

• RQ1 동적 미니배치 서브샘플링에서 발생하는 확률적 비연속 손실 함수에서, 기울기 정보만으로 효과적인 단계 크기를 결정하는 데에 충분한가?
• RQ2 GOLS-I는 다양한 딥러닝 문제에서 수렴 속도, 안정성, 최종 성능 측면에서 확률적 선 탐색(PrLS)과 비교해 어떻게 성능을 내는가?
• RQ3 소규모 및 대규모 미니배치 크기에서 GOLS-I는 PrLS와 비교해 강건성과 효율성을 유지하는가?
• RQ4 함수 값 추정치나 서로서티 모델 없이도 GOLS-I가 비연속 손실 곡면에서 최소값을 신뢰성 있게 탐지할 수 있는가?
• RQ5 GOLS-I는 실세계 딥러닝 학습 파이프라인에서 PrLS의 실용적이고 가능한 대안인가?

주요 결과

• GOLS-I는 고립된 학습 런에서 손실을 1×10⁻¹⁰으로 감소시키고 학습 분류 오차를 0으로 만들었으며, 반면 PrLS는 약 1500개의 함수 평가 후 발산 행동를 보였다.
• 미니배치 크기가 ≥100일 경우, GOLS-I는 학습 수렴 속도와 최종 손실 측면에서 PrLS를 일관되게 능가하여 더 뛰어난 적응성과 단계 크기 선택 능력을 보였다.
• 소규모 미니배치 크기(|ℬₙ,ᵢ| = 10)에서는 PrLS가 MNIST 및 CIFAR10에서 GOLS-I보다 더 나은 성능을 보였는데, 이는 추가적인 분산 추정치와 보수적인 단계 크기 제어를 사용하기 때문이다.
• 모든 테스트된 문제와 아키텍처에서 수동으로 튜닝된 일정한 학습률과 비교해 GOLS-I는 경쟁력 있거나 더 뛰어난 성능을 달성했다.
• GOLS-I는 서로서티 모델링, 분산 추정치, 함수 값 저장이 필요 없어, PrLS보다 계산적으로 더 효율적이고 기존 학습 프레임워크에 통합하기 더 쉬운 편이다.
• GOLS-I는 학습 전반에 걸쳐 단계 크기를 동적으로 재조정하며, 손실 함수 특성의 변화에 따라 15개의 주요 오브젝트 범위에 걸쳐 적응했다.