[논문 리뷰] Active strict saddles in nonsmooth optimization

Damek Davis, Dmitriy Drusvyatskiy|arXiv (Cornell University)|2019. 12. 16.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 비연속적이며 약한 볼록 함수에 대해 기하학적으로 직관적인 조건인 '활성 엄격 안장점 성질(Active Strict Saddle Property)'을 도입한다. 이 성질은 랜덤 초기화 하에 프록시멀 알고리즘의 수렴이 국소 최소점으로만 이루어지도록 보장한다. 주요 기여는 반대칭 다항식 최적화 문제에서 이 성질이 일반적으로 성립한다는 것을 증명한 것이다. 이는 비연속 설정에서 수렴 보장을 가능하게 한다.

ABSTRACT

We introduce a geometrically transparent strict saddle property for nonsmooth functions. This property guarantees that simple proximal algorithms on weakly convex problems converge only to local minimizers, when randomly initialized. We argue that the strict saddle property may be a realistic assumption in applications, since it provably holds for generic semi-algebraic optimization problems.

연구 동기 및 목표

• 비연속적이며 약한 볼록 최적화 문제에서 국소 최소점으로의 수렴 보장이 부족한 문제를 해결하기 위해.
• 비연속 설정에서 안장점으로의 수렴을 차단하는 기하학적으로 직관적인 조건을 정의하기 위해.
• 반대칭 다항식 최적화 문제에서 엄격 안장점 성질이 일반적으로 성립함을 입증하여, 응용 분야에서 실현 가능하고 타당한 가정이 되도록 하기 위해.
• 비연속 비볼록 최적화에서 프록시멀 알고리즘이 효과적인 데 이르는 이론적 근거를 제공하기 위해.

제안 방법

• 모든 임계점이 국소 최소점이거나 엄격 내림차순 방향을 가진 함수를 특징짓는 기하학적 조건으로서 '활성 엄격 안장점 성질'을 도입한다.
• 이 성질을 약한 볼록 함수에 적용하여, 랜덤 초기화 하에 프록시멀 알고리즘이 엄격 안장점을 피할 수 있음을 보장한다.
• 반대칭 다항식 기하학 도구를 사용하여, 엄격 안장점 성질이 반대칭 다항식 함수의 일반적인 클래스에서 성립함을 증명한다.
• 활성 엄격 안장 조건 하에서 프록시멀 알고리즘의 행동을 분석하여, 거의 확실히 국소 최소점으로 수렴함을 보여준다.
• 비연속 설정에서 엄격 안장 조건을 정의하기 위해 활성 집합과 방향 도함수 개념을 활용한다.

실험 결과

연구 질문

• RQ1 비연속적이며 약한 볼록 함수에 대해 기하학적으로 직관적인 엄격 안장 조건을 정의할 수 있는가?
• RQ2 활성 엄격 안장점 성질은 프록시멀 알고리즘이 안장점으로 수렴하지 않고 국소 최소점으로만 수렴함을 보장하는가?
• RQ3 엄격 안장점 성질은 반대칭 다항식 최적화 문제에서 일반적인 성질인가?
• RQ4 실제 문제의 광범위한 클래스에서 증명 가능하게 성립하는 점을 고려할 때, 제안된 조건은 실용적으로 유의미한가?

주요 결과

• 활성 엄격 안장점 성질은 기하학적으로 명확하며, 고전적 엄격 안장 조건을 비연속 함수로 일반화한다.
• 활성 엄격 안장점 성질이 성립할 경우, 랜덤 초기화 하에 프록시멀 알고리즘이 거의 확실히 국소 최소점으로 수렴한다.
• 엄격 안장점 성질은 모든 반대칭 다항식 최적화 문제에서 증명 가능하게 성립하므로, 일반적이고 현실적인 가정이 된다.
• 이 결과는 비연속 비볼록 최적화에서 프록시멀 방법의 경험적 성공에 대한 이론적 기초를 확립한다.