[논문 리뷰] Catalyst Acceleration for Gradient-Based Non-Convex Optimization

Courtney Paquette, Hongzhou Lin외 3명|arXiv (Cornell University)|2017. 03. 31.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 23

한 줄 요약

이 논문은 비볼록 및 약한 볼록 문제를 사전 볼록성 지식 없이 기울기 기반 볼록 최적화 방법이 효율적으로 해결할 수 있도록 허용하는 일반적인 메타알고리즘 4WD-Catalyst를 소개한다. 비볼록 문제의 경우 최악의 경우 O(ε⁻²) 복잡도를 달성하고, 목적함수가 볼록일 경우 자동으로 O(ε⁻²ᐟ³)로 가속화되며, 적응형 스무딩과 반복 정밀화를 통해 알려지지 않은 약한 볼록성 상수에 적응한다.

ABSTRACT

We introduce a generic scheme to solve nonconvex optimization problems using gradient-based algorithms originally designed for minimizing convex functions. Even though these methods may originally require convexity to operate, the proposed approach allows one to use them on weakly convex objectives, which covers a large class of non-convex functions typically appearing in machine learning and signal processing. In general, the scheme is guaranteed to produce a stationary point with a worst-case efficiency typical of first-order methods, and when the objective turns out to be convex, it automatically accelerates in the sense of Nesterov and achieves near-optimal convergence rate in function values. These properties are achieved without assuming any knowledge about the convexity of the objective, by automatically adapting to the unknown weak convexity constant. We conclude the paper by showing promising experimental results obtained by applying our approach to incremental algorithms such as SVRG and SAGA for sparse matrix factorization and for learning neural networks.

연구 동기 및 목표

• 볼록 최적화 방법을 비볼록 및 약한 볼록 문제에 적용할 수 있는 일반적인 프레임워크를 개발하는 것.
• 비볼록 목적함수에 대해 최악의 경우 O(ε⁻²) 복잡도를 유지하여 표준 일阶 방법과 동일한 성능을 보장하는 것.
• 목적함수가 볼록일 경우 자동으로 O(ε⁻²ᐟ³) 복잡도로 가속화되어 네스테로프의 최적 속도를 달성하는 것.
• 기계학습 및 신호 처리에서 흔한 복합, 유한합, 비미분 가능 정규화 문제를 다룰 수 있도록 하는 것.
• 문제 구조에 대한 명시적 지식 없이도 알려지지 않은 약한 볼록성 상수에 적응할 수 있는 방법 설계

제안 방법

• 해당 방법은 증가하는 스무딩 파라미터 κ의 시퀀스를 통해 Tikhonov 유형의 적응형 스무딩을 사용하여 원래의 비볼록 문제를 볼록 유사 부분문제의 시퀀스로 변환한다.
• 기본 볼록 최적화 방법 M(예: SAGA, SVRG)을 fₖ(x; y) = f(x) + (κ/2)‖x - y‖² 형태의 정규화된 부분문제에 적용하며, 여기서 y는 기준점이다.
• 알고리즘은 κ > ρ + L가 되도록 κ를 동적으로 증가시키며, 여기서 ρ는 약한 볼록성 상수이고 L은 기울기의 리프시츠 상수이다.
• 두 개의 시퀀스를 유지한다: T 반복을 통해 근사 정적점(Stationary points)을 구하고, S log(k+1) 반복을 통해 적응형 수렴을 달성하며, 내림차순과 정적성 보장을 한다.
• Catalyst 프레임워크를 활용하여 스무딩된 부분문제를 재귀적으로 최소화함으로써 ε-정적점으로의 수렴을 달성한다.
• 내림차순 조건과 하위도수 거리 경계를 사용한 이론적 보증을 통해 최소한의 가정 하에 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 볼록 최적화 방법을 비볼록 문제에 재사용할 수 있는가? 이때 사전 볼록성 지식이 필요로 하지 않는다.
• RQ2 볼록성에 적응하고 목적함수가 볼록일 경우 가속화되는 일阶 방법의 최악의 경우 복잡도는 무엇인가?
• RQ3 적응형 스무딩을 어떻게 사용하여 비볼록 문제를 수렴 보장이 있는 볼록 유사 부분문제의 시퀀스로 변환할 수 있는가?
• RQ4 비볼록 케이스에서 O(ε⁻²) 복잡도를 유지하면서도 볼록 케이스에서 O(ε⁻²ᐟ³) 복잡도를 달성할 수 있는가? 이때 볼록성 탐지가 명시적으로 필요로 하지 않는다.
• RQ5 SAGA 및 SVRG와 같은 증분 일阶 방법에 대해 이 방법은 신경망 학습 및 행렬 분해와 같은 실용적 환경에서 어떻게 적용될 수 있는가?

주요 결과

• 4WD-Catalyst 메타알고리즘은 비볼록 문제에서 ε-정적점에 도달하기 위해 최악의 경우 O(ε⁻²) 반복 복잡도를 달성하며, 이는 일阶 방법의 하한과 일치한다.
• 목적함수가 볼록일 경우, 알고리즘은 자동으로 O(ε⁻²ᐟ³) 복잡도로 가속화되며, 네스테로프의 가속화 기울기 방법의 최적 속도를 달성한다.
• 알려지지 않은 약한 볼록성 상수 ρ에 대해 사전 지식 없이도 적응 가능하며, 스무딩 파라미터 κ에 대한 두배 전략을 사용한다.
• 이론적 분석은 적응형 부분문제 최소화와 하위도수 거리 경계를 통해 내림차순과 수렴을 유지함을 확인한다.
• 실험 결과는 비볼록성에 대해 전역적으로 볼록이 아니어도 SAGA 및 SVRG에서 실용적인 가속화가 이루어짐을 보여준다.
• 복합, 유한합, 비미분 가능 정규화 문제를 포함한 제약 최소화(지표 함수를 통한) 문제를 성공적으로 처리한다.