[논문 리뷰] Neon2: Finding Local Minima via First-Order Oracles

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|2017. 11. 17.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 35

한 줄 요약

Neon2는 임의의 1차 미분 기반 정류점 탐색 알고리즘을 헤시안-벡터 곱 계산이 필요 없이 근사 국소 최솟값을 찾을 수 있도록 변환하는 새로운 감소 기법을 제안한다. 이는 1차 업데이트를 통해 안정적으로 음의 곡률 탐색을 근사함으로써, 원래 알고리즘의 복잡도를 유지하면서도 스트리밍 및 결정론적 환경 모두에서 국소 최솟값 수렴를 보장한다.

ABSTRACT

We propose a reduction for non-convex optimization that can (1) turn an stationary-point finding algorithm into an local-minimum finding one, and (2) replace the Hessian-vector product computations with only gradient computations. It works both in the stochastic and the deterministic settings, without hurting the algorithm's performance. As applications, our reduction turns Natasha2 into a first-order method without hurting its performance. It also converts SGD, GD, SCSG, and SVRG into algorithms finding approximate local minima, outperforming some best known results.

연구 동기 및 목표

• 헤시안-벡터 곱 계산을 요구하지 않고도 정류점 탐색 알고리즘을 국소 최솟값 탐색 알고리즘으로 변환하는 방법을 개발하는 것.
• 원래 알고리즘과 동일한 기울기 복잡도를 유지하면서도 근사 국소 최솟값으로 수렴하도록 보장하는 것.
• 온라인 및 오프라인 설정 모두에서 1차 방법이 국소 최솟값 수렴을 달성할 수 있도록 하는 것.
• 기울기 평가만을 사용하여 헤시안-벡터 곱의 안정적이고 다항적으로 작은 근사값을 제공하는 것.

제안 방법

• Neon2는 헤시안-벡터 곱 계산을 유한 차분의 기울기 근사값을 사용한 1차 근사로 대체하는 감소 기법을 제안한다.
• 작은 다항적으로 작은 스텝 크기 q를 사용하는 기울기 기반 업데이트를 통해 음의 곡률 탐색을 근사하는 Neon2online이라는 스트리밍 1차 알고리즘을 도입한다.
• 각 반복에서 기울기 노름과 음의 곡률을 추정하여 내림차순을 이끄는 수정된 SCSG/SGD 프레임워크를 사용한다.
• 스텝 크기와 미니배치 크기의 신중한 선택을 통해 근사 오차를 제한함으로써 안정성을 확보한다.
• 기울기 및 헤시안-근사 조건에 따라 표준 기울기 하강과 음의 곡률 탐색 간에 동적으로 전환하는 알고리즘이다.
• 다항적으로 작은 q 하에서 근사 오차가 제어 가능하다는 것을 증명함으로써 이론적 수렴 보장을 확보한다.

실험 결과

연구 질문

• RQ1 헤시안을 사용하지 않는 국소 최솟값 탐색 알고리즘을 수렴 속도를 유지하면서 1차 방법으로 변환할 수 있는가?
• RQ2 기울기 계산만으로 음의 곡률 탐색을 안정적으로 근사할 수 있는가?
• RQ3 제안된 감소 기법이 원래 알고리즘의 기울기 복잡도를 유지하면서도 국소 최솟값 수렴을 보장하는가?
• RQ4 이 감소 기법은 이론적 보장이 있는 온라인 및 오프라인 설정에 모두 적용 가능한가?
• RQ5 헤시안 계산을 피하면서도 기울기 오ракulum만으로 국소 최솟값 수렴을 달성할 수 있는가?

주요 결과

• Neon2는 임의의 1차 정류점 탐색 알고리즘을 원래 알고리즘과 동일한 기울기 복잡도로 국소 최솟값 탐색 방법으로 변환한다.
• SGD에 대해 Neon2+SGD는 (ε, δ)-근사 국소 최솟값을 찾기 위해 eO((V/ε² + 1)(L²Δf/δ³ + LΔf/ε²))의 기울기 복잡도를 달성한다.
• SCSG에 대해 Neon2+SCSG는 eO((LΔf/ε⁴/³V¹/³)(V/ε² + L²/δ²) + LΔf/ε² · L²/δ²)의 기울기 복잡도를 달성한다.
• Natasha2에 대해 Neon2+Natasha2는 원래 알고리즘과 동일한 복잡도인 eO(1/ε³.²⁵)를 유지하면서도 국소 최솟값 수렴을 달성한다.
• 알고리즘은 높은 확률로 O(L²Δf/δ³ + LΔf/ε²) 반복 이내에 종료되며, N₁ > N₂가 확률 최소 2/3로 성립한다.
• 유한 차분을 통한 헤시안-벡터 곱 근사는 안정적이며 오직 다항적으로 작은 오차만을 유발하여 이론적 수렴 보장을 가능하게 한다.