[논문 리뷰] Convergence of inexact descent methods for nonconvex optimization on Riemannian manifolds

G. C. Bento, João Xavier da Cruz Neto외 1명|arXiv (Cornell University)|2011. 03. 24.

Optimization and Variational Analysis참고 문헌 21인용 수 15

한 줄 요약

이 논문은 비볼록 최적화 문제에 대해 리만 다양체 위에서의 비정확 강하 방법의 전역 수렴성을 쟁점으로 삼는다. 이는 비정확한 하위문제와 리만 거리가 아닌 준거리(quasi-distance)를 사용함에도 불구하고, 비볼록 함수가 쿠르다카-로자예브스키(Kurdyka-Lojasiewicz, KL) 부등식을 만족할 경우, 유계 수열이 수렴함을 보인다. 이는 비음성 섹션 곡률이나 하다르드 다양체 조건을 요구하지 않는다.

ABSTRACT

In this paper we present an abstract convergence analysis of inexact descent methods in Riemannian context for functions satisfying Kurdyka-Lojasiewicz inequality. In particular, without any restrictive assumption about the sign of the sectional curvature of the manifold, we obtain full convergence of a bounded sequence generated by the proximal point method, in the case that the objective function is nonsmooth and nonconvex, and the subproblems are determined by a quasi distance which does not necessarily coincide with the Riemannian distance. Moreover, if the objective function is $C^1$ with $L$-Lipschitz gradient, not necessarily convex, but satisfying Kurdyka-Lojasiewicz inequality, full convergence of a bounded sequence generated by the steepest descent method is obtained.

연구 동기 및 목표

• 비볼록 최적화 문제에 대해 리만 다양체 위에서 비정확 강하 방법의 전역 수렴 여부를 다루는 열린 문제를 해결한다. 이는 하다르드 다양체 또는 음성 섹션 곡률 조건을 요구하지 않는다.
• 프록시멀 포인트 및 가장 기울기 강하 방법의 수렴 결과를 볼록 및 준볼록 설정을 넘어 일반 비볼록 함수로 확장한다. 이는 쿠르다카-로자예브스키(KL) 부등식을 만족할 경우에 적용된다.
• 리만 거리가 아닌 준거리(quasi-distance)를 사용함으로써 비정확 하위문제 해결에 의한 수렴성을 확보한다. 이는 비지오데식적 최소 단계의 적용 범위를 넓힌다.
• KL 부등식과 유계 수열을 기반으로 한 일반적 프레임워크를 도입함으로써, 다양체 위의 강하 방법 수렴 분석을 통합한다.

제안 방법

• 두 조건을 만족하는 일반 강하 방법을 제안한다: 준거리 D를 포함한 감소 조건 (f(x^{k+1}) + r₁D²(x^{k+1},x^{k}) ≤ f(x^{k})), 그리고 기울기 관련 조건 (||grad f(x^k)|| ≤ r₂D(x^{k+1},x^k)).
• 유계 수열이 임계점으로 수렴하도록 보장하기 위해 핵심적인 구조적 가정으로 쿠르다카-로자예브스키(KL) 부등식을 사용한다.
• KL 성질을 리만-로흐 정리와 호프-리노우 정리를 함께 적용하여 축적점 존재성과 수렴성을 보장한다.
• 일반화된 페이저 유형 수렴 프레임워크에 기반하며, 수열이 유계이면서 내림내림 조건과 기울기 조건을 만족함을 보여 KL 조건 하에서 수렴을 유도한다.
• 준거리 D를 통해 비정확 하위문제를 허용하는 프레임워크를 도입한다. 이는 D가 리만 거리 d와 일치하지 않을 수 있음을 허용함으로써 이전 결과를 일반화한다.
• 비음성 섹션 곡률이나 하다르드 구조가 필요 없도록, KL 성질과 수열의 유계성으로 최소한의 기하적 가정 하에서 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화 문제에 대해 리만 다양체 위에서 비정확 강하 방법이 하다르드 다양체 또는 음성 섹션 곡률 조건 없이 전역 수렴할 수 있는가?
• RQ2 쿠르다카-로자예브스키(KL) 부등식을 만족하는 일반 리만 다양체에서 비정확 프록시멀 포인트 및 가장 기울기 강하 방법이 생성하는 유계 수열이 수렴하는가?
• RQ3 하위문제에서 사용하는 준거리 D가 리만 거리 d와 다를 경우에도 수렴이 보장되는가?
• RQ4 목적 함수가 C¹이고 L-립시츠 기울기를 가지며 KL 부등식을 만족할 경우, 볼록성 없이도 수열이 임계점으로 전부 수렴하는가?

주요 결과

• 논문은 비연속, 비볼록 목적 함수가 KL 부등식을 만족할 경우, 비정확 프록시멀 포인트 방법으로 생성된 임의의 유계 수열이 최소화자로 수렴함을 증명한다. 이는 비음성 섹션 곡률 조건을 요구하지 않는다.
• L-립시츠 기울기를 가지며 KL 부등식을 만족하는 C¹ 함수에 대해, 비정확 단계를 사용하는 가장 기울기 강하 방법은 유계 수열을 생성하며, 이 수열은 다양체의 곡률과 관계없이 임계점으로 수렴한다.
• 준거리 D가 리만 거리 d와 일치하지 않더라도, D가 d와 비교 가능 조건(s₁d ≤ D ≤ s₂d)을 만족할 경우 수렴 결과가 유지된다.
• 하다르드 다양체 또는 비음성 곡률 다양체가 필요 없도록, KL 성질과 수열의 유계성으로 최소한의 기하적 가정 하에서 수렴을 확립한다.
• KL 부등식과 유계 수열을 기반으로 한 단일 추상 수렴 이론을 통해 프록시멀 포인트 및 가장 기울기 강하 방법의 수렴 결과를 통합한다.