[논문 리뷰] Characterizations of Lojasiewicz inequalities and applications

Jérôme Bolte, Aris Daniilidis외 2명|ArXiv.org|2008. 02. 06.

Optimization and Variational Analysis참고 문헌 32인용 수 11

한 줄 요약

이 논문은 메트릭 공간과 힐버트 공간에서 미분 가능하지 않거나 하부연속적인 함수에 대해 Kurdyka-Łojasiewicz (KŁ) 부등식의 새로운 특성화를 제시하며, 이를 메트릭 정규성, 부분미분 곡선의 길이, 그리고 프록시멀 알고리즘의 수렴성과 연결한다. 주요 기여는 조각별 부분미분 곡선이 일정한 길이를 가진다는 것과 KŁ 부등식이 성립하는 것이 필요이고 충분함을 보여주는 것으로, 최적화 및 동역학계에서의 전역 수렴에 적용된다.

ABSTRACT

The classical Lojasiewicz inequality and its extensions for partial differential equation problems (Simon) and to o-minimal structures (Kurdyka) have a considerable impact on the analysis of gradient-like methods and related problems: minimization methods, complexity theory, asymptotic analysis of dissipative partial differential equations, tame geometry. This paper provides alternative characterizations of this type of inequalities for nonsmooth lower semicontinuous functions defined on a metric or a real Hilbert space. In a metric context, we show that a generalized form of the Lojasiewicz inequality (hereby called the Kurdyka-Lojasiewicz inequality) relates to metric regularity and to the Lipschitz continuity of the sublevel mapping, yielding applications to discrete methods (strong convergence of the proximal algorithm). In a Hilbert setting we further establish that asymptotic properties of the semiflow generated by $-\partial f$ are strongly linked to this inequality. This is done by introducing the notion of a piecewise subgradient curve: such curves have uniformly bounded lengths if and only if the Kurdyka-Lojasiewicz inequality is satisfied. Further characterizations in terms of talweg lines -a concept linked to the location of the less steepest points at the level sets of $f$- and integrability conditions are given. In the convex case these results are significantly reinforced, allowing in particular to establish the asymptotic equivalence of discrete gradient methods and continuous gradient curves. On the other hand, a counterexample of a convex C^2 function in in the plane is constructed to illustrate the fact that, contrary to our intuition, and unless a specific growth condition is satisfied, convex functions may fail to fulfill the Kurdyka-Lojasiewicz inequality.

연구 동기 및 목표

• 일般적인 메트릭 공간과 힐버트 공간에서 미분 가능하지 않거나 하부연속적인 함수에 대해 Kurdyka-Łojasiewicz (KŁ) 부등식을 확장하고 특성화하는 것.
• KŁ 부등식과 메트릭 정규성 및 부분수준 사상의 리프시츠 연속성과 같은 기본 개념 간의 연결 고리 수립.
• −∂f에 의해 생성되는 경사 하강 흐름의 점근적 행동을 조각별 부분미분 곡선의 개념을 사용해 분석하는 것.
• 볼록 케이스에서 KŁ 부등식의 타당성과 함의를 조사하며, 추가 성장 조건이 없이 실패할 수 있는 반례를 제시하는 것.
• 볼록성과 KŁ 조건 하에서 이산 경사 하강 방법과 연속 경사 곡선 간의 점근적 동치성을 엄밀히 증명하는 것.

제안 방법

• 하부연속 함수에 대해 메트릭 공간에서 일반화된 형태의 Kurdyka-Łojasiewicz (KŁ) 부등식을 도입하며, φ ∈ K(0, r)를 만족하는 비교 함수 φ′ > 0 를 사용한다.
• KŁ 부등식이 부분수준 사상의 메트릭 정규성과 x ↦ dist(x, {f ≤ r}) 사상의 리프시츠 연속성과 동치임을 증명한다.
• 기하학적 부분미분 곡선을 정의하고, 이들이 거의 모든 곳에서 f의 부분미분에 속하는 리프시츠 곡선임을 정의하며, 이러한 곡선이 일정한 길이를 가진다는 것과 KŁ 부등식이 성립하는 것이 필요이고 충분함을 증명한다.
• f의 등고선에서 가장 기울기가 작거나 수평에 가까운 점들을 찾는 탈웨그 선(talweg lines)의 개념을 사용하여 KŁ 부등식의 기하학적 특성화를 제공한다.
• 힐베르트 공간에서 KŁ 부등식이 프록시멀 알고리즘의 수렴성과 경사 하강 흐름의 점근적 수렴성을 보장하는 조건을 유도한다.
• ℝ²에서 C² 볼록 함수의 반례를 구성하여 KŁ 부등식을 위반함을 보이며, 성장 조건이 추가로 없이 볼록성만으로는 KŁ 부등식이 성립하지 않음을 시사한다.

실험 결과

연구 질문

• RQ1 비미분 가능하고 무한차원 환경에서, 고전적인 C¹ 또는 해석 함수 이외의 설정에서 Kurdyka-Łojasiewicz 부등식을 어떻게 특성화할 수 있는가?
• RQ2 메트릭 공간에서 KŁ 부등식과 메트릭 정규성 또는 부분수준 사상의 리프시츠 연속성 간의 정확한 관계는 무엇인가?
• RQ3 조각별 부분미분 곡선이 일정한 길이를 가지는 조건은 무엇이며, 이는 KŁ 부등식과 어떻게 관련되는가?
• RQ4 볼록성은 KŁ 부등식을 어느 정도 보장하는가? 그리고 KŁ 부등식을 만족하지 못하는 볼록 함수가 존재하는가?
• RQ5 KŁ 조건 하에서 이산 경사 하강 방법과 연속 경사 곡선 간의 점근적 동치성은 엄밀히 증명할 수 있는가?

주요 결과

• KŁ 부등식이 성립하는 것은 부분수준 사상 x ↦ {f ≤ r}가 메트릭 정규성이고 국소적으로 리프시츠 연속임과 필요이고 충분하다.
• 조각별 부분미분 곡선이 일정한 길이를 가지는 것은 KŁ 부등식이 성립하는 것과 필요이고 충분하다. 이는 기하학적 특성화를 제공한다.
• 힐베르트 공간에서 KŁ 부등식은 프록시멀 알고리즘의 강한 수렴성과 경사 하강 흐름의 점근적 행동을 제어한다.
• 볼록 함수의 경우, KŁ 부등식은 부분미분 곡선을 따라 기울기 노름의 역수의 적분 가능성과 동치이다.
• ℝ²에서 C² 볼록 함수의 반례를 구성하여 KŁ 부등식을 위반함을 보이며, 볼록성만으로는 추가 성장 조건이 없이 KŁ 부등식이 성립하지 않음을 시사한다.
• KŁ 부등식과 볼록성 하에서, 이산 경사 하강 방법과 연속 경사 곡선은 점근적으로 동치이며, 이는 이산 및 연속 동역학을 연결한다.