[논문 리뷰] Second-Order Optimization for Non-Convex Machine Learning: An Empirical Study

Peng Xu, Farbod Roosta-Khorasani외 1명|arXiv (Cornell University)|2017. 08. 25.

Stochastic Gradient Optimization Techniques참고 문헌 54인용 수 35

한 줄 요약

이 논문은 비볼록 기계학습 문제를 위한 이차형 최적화 기법인 부분표본 신뢰영역(TR) 및 적응형 입방정규화(ARC) 방법을 실증적으로 평가한다. 이러한 방법들은 헤시안 정보를 활용하며, 수동으로 튜닝된 모멘텀 SGD와 유사한 계산 효율성을 보이며, 하이퍼파rameter 설정에 대해 매우 강건하고, 안장점과 평평한 영역을 효과적으로 회피하여 더 적은 반복 수로 뛰어난 일반화 성능을 달성한다.

ABSTRACT

While first-order optimization methods such as stochastic gradient descent (SGD) are popular in machine learning (ML), they come with well-known deficiencies, including relatively-slow convergence, sensitivity to the settings of hyper-parameters such as learning rate, stagnation at high training errors, and difficulty in escaping flat regions and saddle points. These issues are particularly acute in highly non-convex settings such as those arising in neural networks. Motivated by this, there has been recent interest in second-order methods that aim to alleviate these shortcomings by capturing curvature information. In this paper, we report detailed empirical evaluations of a class of Newton-type methods, namely sub-sampled variants of trust region (TR) and adaptive regularization with cubics (ARC) algorithms, for non-convex ML problems. In doing so, we demonstrate that these methods not only can be computationally competitive with hand-tuned SGD with momentum, obtaining comparable or better generalization performance, but also they are highly robust to hyper-parameter settings. Further, in contrast to SGD with momentum, we show that the manner in which these Newton-type methods employ curvature information allows them to seamlessly escape flat regions and saddle points.

연구 동기 및 목표

• 비볼록 기계학습 환경에서 신뢰영역(TR) 및 적응형 입방정규화(ARC)를 포함한 뉴턴형 방법의 실용적 성능을 평가하는 것.
• SGD에 모멘텀을 적용한 일阶 방법의 주요 한계, 즉 느린 수렴, 학습률에 대한 민감성, 높은 손실에서의 정체, 안장점에서의 탈출 곤란 문제를 해결하는 것.
• 헤시안 근사치를 통한 곡률 정보를 통합함으로써, 딥러닝 및 비선형 최소제곱 문제에서 계산 경쟁력과 함께 향상된 강건성 및 일반화 성능를 제공할 수 있는지 탐구하는 것.

제안 방법

• TR 및 ARC 알고리즘에서 헤시안 행렬을 근사하기 위해 랜덤화된 부분표본을 사용하여 반복당 비용을 감소시키면서도 수렴 성질을 유지한다.
• 신뢰영역 방법은 신뢰영역 제약 조건이 있는 이차 모델을 풀어 목적 함수의 충분한 감소를 보장한다.
• 적응형 입방정규화(ARC)는 조정된 정규화 파rameter를 갖는 입방 모델을 사용하며, 모델과 실제 함수 감소 간의 일치도에 따라 이를 조정한다.
• 정확도와 계산 비용의 균형을 위해 스위치 기반 부분표본 헤시안 행렬을 사용해 헤시안 근사치를 계산한다.
• 딥 다층퍼셉트론 및 비선형 최소제곱(NLS) 문제에서 평가를 수행하였으며, 임의의 초기화와 열악한 초기화 상황을 포함한다.
• 실제 데이터셋과 통제된 하이퍼파rameter 설정을 사용해 모멘텀 SGD 및 L-BFGS, 가우스-뉴턴(GN)과 같은 다른 이차형 최적화 방법과 비교한다.

실험 결과

연구 질문

• RQ1 부분표본 TR 및 ARC 방법은 비볼록 기계학습 문제에서 수동 튜닝된 모멘텀 SGD와 경쟁 가능한 계산 효율성을 달성할 수 있는가?
• RQ2 뉴턴형 방법의 성능은 하이퍼파rameter 설정에 대해 강건한가? 특히 일阶 방법에 비해 학습률 설정에 민감한 SGD에 비해 어떻게 되는가?
• RQ3 이차형 방법은 SGD에 모멘텀을 적용한 경우 정체되는 안장점과 평평한 영역을 효과적으로 탈출할 수 있는가?
• RQ4 헤시안 기반 곡률 정보는 일반화 성능 향상과 수렴 속도 향상에 어느 정도 기여하는가?
• RQ5 비균일 표본 추출 전략은 균일 표본 추출에 비해 이차형 방법의 성능에 어떤 영향을 미치는가?

주요 결과

• 부분표본 TR 및 ARC 방법은 부분표본으로 인한 낮은 반복당 비용과 곡률 활용으로 인한 빠른 수렴 덕분에 수동 튜닝된 모멘텀 SGD와 유사한 계산 효율성을 달성한다.
• TR 및 ARC 방법의 성능는 하이퍼파rameter 튜닝에 매우 강건하며, 특히 학습률 설정에 민감한 모멘텀 SGD에 비해 뛰어난 강건성을 보인다.
• 뉴턴형 방법은 모든 성분이 1인 초기화와 같은 열악한 초기화 조건에서도 안장점과 평평한 영역을 효과적으로 탈출하며, 이는 모멘텀 SGD가 진전이 없음을 보여준다.
• 이차형 방법은 몇 번의 반복만으로도 양호한 일반화 성능를 달성하여 통신 비용이 높은 분산 학습 환경에서 매우 적합하다.
• 비균일 표본 추출은 균일 표본 추출에 비해 성능 향상이 명확하게 나타나며, 실제 데이터셋에서 수렴 속도 향상에 기여한다.
• L-BFGS 및 가우스-뉴턴(GN)과 같은 다른 이차형 최적화 방법에 비해 TR 및 ARC는 실용적 환경에서 뛰어난 성능를 보이며, 이는 후자의 이론적 우월성에도 불구하고 부분문제 해법 구현 문제로 인한 것으로 보인다.