[논문 리뷰] Kurdyka-Łojasiewicz exponent via inf-projection

Peiran Yu, Guoyin Li외 1명|arXiv (Cornell University)|2019. 02. 10.

Advanced Optimization Algorithms Research참고 문헌 54인용 수 10

한 줄 요약

이 논문은 최적화 재구성에서 핵심적인 연산인 inf-projection 하에서 Kurdyka-Łojasiewicz (KL) 지수의 보존성을 입증한다. 이 결과를 바탕으로 저자들은 낮은 랭크 행렬 복원, 그룹 Lasso 변종, Bregman 에너로 등 주요 볼록 및 비볼록 모델에 대해 명시적인 KL 지수를 도출한다. 특히, 최소 제곱합과 랭크 제약이 있는 행렬의 지표 함수의 합에 대해 KL 지수는 $1 - \frac{1}{4 \cdot 9^{\tau}}$이며, 이때 $\tau$는 행렬 차원에 따라 달라진다.

ABSTRACT

Kurdyka-Lojasiewicz (KL) exponent plays an important role in estimating the convergence rate of many contemporary first-order methods. In particular, a KL exponent of $\frac12$ for a suitable potential function is related to local linear convergence. Nevertheless, KL exponent is in general extremely hard to estimate. In this paper, we show under mild assumptions that KL exponent is preserved via inf-projection. Inf-projection is a fundamental operation that is ubiquitous when reformulating optimization problems via the lift-and-project approach. By studying its operation on KL exponent, we show that the KL exponent is $\frac12$ for several important convex optimization models, including some semidefinite-programming-representable functions and some functions that involve $C^2$-cone reducible structures, under conditions such as strict complementarity. Our results are applicable to concrete optimization models such as group fused Lasso and overlapping group Lasso. In addition, for nonconvex models, we show that the KL exponent of many difference-of-convex functions can be derived from that of their natural majorant functions, and the KL exponent of the Bregman envelope of a function is the same as that of the function itself. Finally, we estimate the KL exponent of the sum of the least squares function and the indicator function of the set of matrices of rank at most $k$.

연구 동기 및 목표

• 최적화 재구성에서 핵심적인 변환인 inf-projection 연산 하에서 Kurdyka-Łojasiewicz (KL) 지수에 대한 계산 법칙을 수립하는 것.
• 반정적 및 비반정적 최적화 모델에 대해 명시적인 KL 지수를 도출하는 것—특히 정수형 프로그래밍으로 표현 가능한 함수와 $C^2$-cone 유도 가능한 구조를 포함하여.
• 낮은 랭크 행렬 복원의 핵심 모델인 최소 제곱합과 랭크-$k$ 행렬의 지표 함수의 합에 대한 KL 지수를 해결하는 것.
• 비볼록 모델인 볼록 함수의 차분, Bregman 에너로 등에 대한 KL 지수 분석을 확장하여 이러한 연산 하에서 지수의 불변성을 보여주는 것.
• 특히 엄밀한 보완 조건을 포함한 조건들 하에서, 구조적 볼록 모델의 KL 지수를 명시적으로 계산할 수 있는 조건을 규명하는 것.

제안 방법

• 저자들은 적절한 닫힌 함수 $F(x,y)$ 에 대해 $f(x) = \inf_y F(x,y)$ 로의 inf-projection 하에서 KL 지수가 보존됨을 보여주는 새로운 계산 법칙을 제안한다. 이는 약간의 정규성 조건 하에서 성립한다.
• 이 결과를 볼록 모델에 적용하여, 알려진 KL 지수를 갖는 함수의 inf-projection이 그 지수를 유지함을 입증한다. 특히 기저 다양체의 구조가 엄밀한 보완 조건을 만족할 경우에 대해 검토한다.
• 낮은 랭크 행렬 복원 모델의 경우, 직교 제약 조건을 포함하는 확장된 표현을 구성하고, 암시함수 정리를 사용하여 제약 맵의 도함수의 단사성을 검증한다.
• KL 성질과 오차 경계 사이의 연결 고리를 활용하여, 특히 일阶 오차 경계와 허더 성장 조건을 고려함으로써, KL 지수를 타당 집합의 구조와 연결한다.
• Theorem 3.1의 조건들을 검증함으로써, infimum 변수에서 국소 유계성과 비어 있지 않은 부분미분 존재성을 확보하여 inf-projection 계산 법칙을 적용한다.
• 비볼록 모델의 경우, 주요 함수와 Bregman 에너로 성질을 활용하여, 더 단순한 함수에서 더 복잡한 함수로 KL 지수 정보를 전달한다.

실험 결과

연구 질문

• RQ1 inf-projection 연산, 최적화 리프로그래밍에서의 핵심 도구인 것에 대해 Kurdyka-Łojasiewicz (KL) 지수는 보존되는가?
• RQ2 최소 제곱 함수와 랭크가 최대 $k$인 행렬의 집합의 지표 함수의 합에 대해 정확한 KL 지수는 무엇인가?
• RQ3 비볼록 함수의 차분에 대해 KL 지수는 그 볼록 주요 함수의 KL 지수로부터 유도될 수 있는가? 그리고 Bregman 에너로는 원래 함수의 KL 지수를 보존하는가?
• RQ4 특히 엄밀한 보완 조건 하에서, $C^2$-cone 유도 가능한 구조를 포함하는 볼록 모델의 KL 지수를 명시적으로 계산할 수 있는 조건은 무엇인가?
• RQ5 그룹 융합 Lasso 및 겹치는 그룹 Lasso와 같이 고차원 통계에서 흔한 비볼록 모델의 KL 지수를 어떻게 추정할 수 있는가?

주요 결과

• 제약 맵이 단사적이고 함수가 적절하며 닫혀 있을 경우, inf-projection 하에서 KL 지수가 보존되며, 이는 KL 지수에 대한 새로운 계산 법칙을 가능하게 한다.
• 최소 제곱합과 랭크-$k$ 행렬의 지표 함수의 합에 대해 KL 지수는 명시적으로 $1 - \frac{1}{4 \cdot 9^{\tau}}$이며, 여기서 $\tau$는 행렬 차원과 랭크 제약 조건에 따라 달라진다.
• 함수의 Bregman 에너로의 KL 지수는 원래 함수의 KL 지수와 동일하며, 이는 기존 결과를 비볼록 설정으로까지 확장한다.
• 차분-볼록 함수의 경우, 자연스러운 볼록 주요 함수의 KL 지수로부터 KL 지수를 도출할 수 있으며, 이는 비볼록 모델 분석을 가능하게 한다.
• $C^2$-cone 유도 가능한 구조를 포함하는 볼록 모델의 KL 지수는 엄밀한 보완 조건 하에서 $\frac{1}{2}$이며, 이는 그룹 융합 Lasso 및 겹치는 그룹 Lasso 등 중요한 사례를 포함한다.
• 분석을 통해 SCAD 또는 MCP 정규화를 가진 최소 제곱 손실의 KL 지수가 $\frac{1}{2}$임을 확인하였으며, 이는 기존 결과와 일치하지만 이제는 inf-projection 계산 법칙을 통해 유도되었다.