[논문 리뷰] A Generic Approach for Escaping Saddle points

Sashank J. Reddi, Manzil Zaheer외 5명|arXiv (Cornell University)|2017. 09. 05.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 34

한 줄 요약

이 논문은 비볼록 유한합 문제에서 안장점에서 벗어나기 위해 일阶 및 이阶 하위 절차를 번갈아 사용하는 일반적인 최적화 프레임워크를 제안한다. 비용이 많이 드는 헤시안 행렬 계산을 최소화하고, 필요한 경우에만 이阶 단계를 사용함으로써, 순수한 이阶 방법에 비해 경쟁 가능한 수렴 속도와 훨씬 빠른 월클록 타임 성능을 달성한다.

ABSTRACT

A central challenge to using first-order methods for optimizing nonconvex problems is the presence of saddle points. First-order methods often get stuck at saddle points, greatly deteriorating their performance. Typically, to escape from saddles one has to use second-order methods. However, most works on second-order methods rely extensively on expensive Hessian-based computations, making them impractical in large-scale settings. To tackle this challenge, we introduce a generic framework that minimizes Hessian based computations while at the same time provably converging to second-order critical points. Our framework carefully alternates between a first-order and a second-order subroutine, using the latter only close to saddle points, and yields convergence results competitive to the state-of-the-art. Empirical results suggest that our strategy also enjoys a good practical performance.

연구 동기 및 목표

• 비볼록 최적화에서 일阶 방법이 안장점에 갇히는 문제를 해결하기 위해.
• 필요한 경우에만 헤시안 사용을 제한하여 이阶 방법의 계산 부담을 줄이기 위해.
• 이阶 임계점으로의 증명 가능 수렴을 보장하면서도 실용적 효율성이 향상된 프레임워크를 설계하기 위해.
• 대규모 비볼록 문제에서 반복 복잡도와 계산 비용 사이의 균형을 맞추기 위해.

제안 방법

• 정류성 검사를 기반으로 일阶 최적화기(예: SGD 또는 Adam)와 이阶 최적화기(예: ApproxCubicDescent) 사이를 번갈아 사용한다.
• большин의 반복에서 기울기 정보를 사용하고, 점이 정류적이지만 이阶 임계점이 아닌 경우에만 헤시안 기반 최적화를 시행한다.
• 현재 반복점이 안장점임을 기울기 및 헤시안 분석을 통해 감지할 수 있는 메커니즘이 포함되어 있다.
• 두 가지 구현이 제안된다: 하나는 정확한 헤시안 계산을 사용하고, 다른 하나는 저랭크 갱신을 통한 근사 헤시안을 사용한다.
• 알고리즘은 ISO(헤시안-벡터 곱) 호출 수를 최소화하도록 설계되어 있어, 계산 오버헤드를 줄이면서도 수렴 보장을 유지한다.
• 프레임워크는 일阶 성분으로 Adam, 이阶 성분으로 ApproxCubicDescent를 사용하여 딥 러닝 문제에 적용된다.

실험 결과

연구 질문

• RQ1 순수한 일阶 또는 이阶 방법보다 하이브리드 일-이阶 최적화 전략이 안장점 탈출을 더 효율적으로 수행할 수 있는가?
• RQ2 이阶 임계점으로의 수렴을 보장하면서도 헤시안 계산을 어떻게 최소화할 수 있는가?
• RQ3 대규모 비볼록 문제에서 안장점 탈출 시 반복 수와 월클록 타임 사이의 상충 관계는 어떠한가?
• RQ4 다양한 비볼록 유한합 문제에 대해 최소한의 가정으로 작동할 수 있는 일반적인 프레임워크를 설계할 수 있는가?

주요 결과

• 제안된 프레임워크는 순수한 이阶 방법인 ApproxCubicDescent에 비해 ISO 호출 수를 최대 100배까지 줄였다.
• 딥 오토인코더 벤치마크에서 월클록 타임 측면에서 안장점 탈출 속도가 Adam과 ApproxCubicDescent를 모두 앞서며 빠른 성능을 보였다.
• CURVES 및 MNIST 오토인코더 작업에서, 기준 방법들보다 빠르게 수렴하면서도 훨씬 적은 수의 헤시안 기반 반복을 사용했다.
• 프레임워크의 수렴 속도는 최첨단 이阶 방법과 경쟁 가능했으며, 이阶 임계점에 도달하기 위해 O(1/ε³/²)회의 반복을 필요로 했다.
• 실험 결과는 하이브리드 접근이 계산 비용과 수렴 속도 사이의 균형을 잘 맞추며, 대규모 환경에서 이阶 이점의 실용성을 높임을 보여주었다.