[논문 리뷰] SNAP: Finding Approximate Second-Order Stationary Solutions Efficiently for Non-convex Linearly Constrained Problems

Songtao Lu, Meisam Razaviyayn외 3명|arXiv (Cornell University)|2019. 07. 09.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 선형 제약 조건이 있는 비볼록 최적화 문제에 대해 근사 제2차 정류점(SOSPs)을 효율적으로 찾는 일阶 알고리즘인 SNAP을 제안한다. 일반적인 엄격 보완 조건을 활용하여, SNAP은 연속적인 기울기 투영과 음의 곡률 단계를 통해 O(1/ε².⁵)의 반복 복잡도를 달성하며, 반복당 다항 시간 복잡도를 갖는다. 이는 이 클래스의 문제에 대해 전역 하위선형 수렴 보장을 갖는 첫 번째 방법이다.

ABSTRACT

This paper proposes low-complexity algorithms for finding approximate second-order stationary points (SOSPs) of problems with smooth non-convex objective and linear constraints. While finding (approximate) SOSPs is computationally intractable, we first show that generic instances of the problem can be solved efficiently. More specifically, for a generic problem instance, certain strict complementarity (SC) condition holds for all Karush-Kuhn-Tucker (KKT) solutions (with probability one). The SC condition is then used to establish an equivalence relationship between two different notions of SOSPs, one of which is computationally easy to verify. Based on this particular notion of SOSP, we design an algorithm named the Successive Negative-curvature grAdient Projection (SNAP), which successively performs either conventional gradient projection or some negative curvature based projection steps to find SOSPs. SNAP and its first-order extension SNAP$^+$, require $\mathcal{O}(1/ε^{2.5})$ iterations to compute an $(ε, \sqrtε)$-SOSP, and their per-iteration computational complexities are polynomial in the number of constraints and problem dimension. To our knowledge, this is the first time that first-order algorithms with polynomial per-iteration complexity and global sublinear rate have been designed to find SOSPs of the important class of non-convex problems with linear constraints.

연구 동기 및 목표

• 선형 제약 조건이 있는 비볼록 최적화 문제에서 근사 제2차 정류점(SOSPs)을 효율적으로 계산하는 데 도전하는 것.
• 특히 일반적인 문제 인스턴스에 대해 SOSPs를 찾는 것이 계산적으로 가능해지는 조건을 규명하는 것.
• 반복당 다항 시간 복잡도와 전역 하위선형 수렴 속도를 갖는 제1차 알고리즘을 설계하여 제약 조건이 있는 비볼록 문제에서 SOSPs를 위한 것.
• 엄격 보완 조건을 사용하여 두 정류점 정의 간의 등가성을 확립함으로써 효율적인 검증을 가능하게 하는 것.
• 사다리표를 피하고 SOSPs로 수렴하는 실용적인 알고리즘을 개발하는 것.

제안 방법

• SNAP는 표준 기울기 투영과 음의 곡률 기반 단계를 번갈아 사용하는 순차적 음의 곡률 기울기 투영 방법을 사용한다.
• KKT 해에 대해 일반적으로 성립하는 엄격 보완(SC) 조건을 활용하여, 두 SOSP 정의 간의 등가성을 보장한다.
• 완전한 헤시안 행렬 계산 없이도 음의 곡률 방향을 탐지하기 위해 랜덤화된 거듭제곱 반복을 기반으로 하는 하위루틴인 SP-GD를 활용한다.
• SNAP +는 오рак불 음의 고유쌍 탐색기를 SP-GD로 대체한 제1차 변종으로, 동일한 수렴 속도를 유지한다.
• 목적 함수 값의 충분한 감소와 음의 곡률 탐지의 조합을 통해 (ε, √ε)-SOSP로 수렴함을 보장한다.
• 반복당 복잡도는 제약 조건 수와 문제 차원에 대해 다항식이므로 확장 가능하다.

실험 결과

연구 질문

• RQ1 비볼록 선형 제약 조건 문제에서 근사 제2차 정류점을 효율적으로 찾을 수 있는 조건는 무엇인가?
• RQ2 반복당 다항 시간 복잡도를 갖는 제1차 알고리즘이 SOSPs로 전역 하위선형 수렴을 달성할 수 있는가?
• RQ3 제약 조건이 있는 설정에서 헤시안 행렬을 명시적으로 계산하지 않고도 음의 곡률을 효율적으로 탐지할 수 있는가?
• RQ4 일반적인 가정 하에서 제2차 정류점의 다양한 정의 간의 관계는 무엇인가?
• RQ5 엄격 보완 조건을 사용하여 SOSP 조건의 검증을 단순화할 수 있는가?

주요 결과

• SNAP는 비볼록 선형 제약 조건 문제에서 (ε, √ε)-SOSP를 계산하기 위해 O(1/ε².⁵)의 반복 복잡도를 달성한다.
• 알고리즘은 제약 조건 수와 문제 차원에 대해 반복당 다항 시간 복잡도를 갖는다.
• 일반적인 문제 인스턴스에 대해 엄격 보완 조건은 거의 확실하게 성립하며, 이는 두 SOSP 정의 간의 등가성을 보장한다.
• SP-GD는 각 호출당 O(1/ε_H)회의 반복을 통해 높은 확률로 음의 곡률 방향을 성공적으로 식별한다.
• 제1차 변종인 SNAP +는 오라클을 SP-GD로 대체함으로써 동일한 수렴 속도를 유지하며 실용성을 확보한다.
• 이 방법은 이 클래스의 제약 조건이 있는 비볼록 문제에서 SOSPs에 대해 전역 하위선형 수렴 보장을 다항 반복 복잡도로 제공하는 최초의 방법이다.