[논문 리뷰] Weakly Convex Optimization over Stiefel Manifold Using Riemannian Subgradient-Type Methods

Xiao Li, Shixiang Chen외 4명|arXiv (Cornell University)|2019. 11. 12.

Sparse and Compressive Sensing Techniques참고 문헌 91인용 수 16

한 줄 요약

이 논문은 스티펠 만에 대해 약한 볼록 최적화를 위한 리만 하위기울기 유형의 방법—하향 기울기, 인크리멘탈, 스토하스틱—을 제안하며, ε-정류성에 도달하기 위한 반복 복잡도 𝒪(ε⁻⁴)를 증명한다. 또한 기하학적으로 감소하는 스텝 사이즈와 적절한 초기화 조건 하에서 날카운성 조건을 만족할 경우 국소 선형 수렴을 확립하여, 이 클래스의 비볼록 비연속 문제에 대해 스티펠 만에 대해 최초의 수렴 보장을 제공한다.

ABSTRACT

We consider a class of nonsmooth optimization problems over the Stiefel manifold, in which the objective function is weakly convex in the ambient Euclidean space. Such problems are ubiquitous in engineering applications but still largely unexplored. We present a family of Riemannian subgradient-type methods -- namely Riemannain subgradient, incremental subgradient, and stochastic subgradient methods -- to solve these problems and show that they all have an iteration complexity of ${\cal O}(\varepsilon^{-4})$ for driving a natural stationarity measure below $\varepsilon$. In addition, we establish the local linear convergence of the Riemannian subgradient and incremental subgradient methods when the problem at hand further satisfies a sharpness property and the algorithms are properly initialized and use geometrically diminishing stepsizes. To the best of our knowledge, these are the first convergence guarantees for using Riemannian subgradient-type methods to optimize a class of nonconvex nonsmooth functions over the Stiefel manifold. The fundamental ingredient in the proof of the aforementioned convergence results is a new Riemannian subgradient inequality for restrictions of weakly convex functions on the Stiefel manifold, which could be of independent interest. We also show that our convergence results can be extended to handle a class of compact embedded submanifolds of the Euclidean space. Finally, we discuss the sharpness properties of various formulations of the robust subspace recovery and orthogonal dictionary learning problems and demonstrate the convergence performance of the algorithms on both problems via numerical simulations.

연구 동기 및 목표

• 스티펠 만에서 비연속, 비볼록 최적화에 대한 수렴 이론의 부족을 해결함: 특히 환경 공간에서 약한 볼록인 목적 함수에 대해.
• 이러한 문제를 해결하기 위한 리만 하위기울기 유형 알고리즘—표준, 인크리멘탈, 스토하스틱—의 개발 및 분석.
• 추가적인 날카운성 조건 및 스텝 사이즈 조건 하에서 전역 하향 수렴 및 국소 선형 수렴 확립.
• 유한한 임베디드 부분다양체를 포함한 유클리드 공간의 컴act 임베디드 부분다양체로 이론 프레임워크 확장.
• 실세계 문제인 강건한 부분공간 복원 및 직교 사전 학습에서 이론적 결과의 검증.

제안 방법

• 스티펠 만에서 약한 볼록 함수에 특화된 리만 하위기울기, 인크리멘탈 하위기울기, 스토하스틱 하위기울기 방법 제안.
• 스티펠 만에 제한된 약한 볼록 함수를 위한 새로운 리만 하위기울기 부등식을 도입하여 수렴 분석의 기초를 마련.
• 문제가 날카운성 성질을 만족할 경우 기하학적으로 감소하는 스텝 사이즈(γₖ = βᵏγ₀)를 사용하여 국소 선형 수렴 달성.
• 최적화 중에 반복값이 스티펠 만에 유지되도록 리트랙션과 벡터 운반 연산 적용.
• 목적 함수 f(X) = (1/m)∑fᵢ(X)의 유한합 구조를 활용하여 인크리멘탈 및 스토하스틱 변형 설계.
• 새로운 리만 하위기울기 부등식 기반 리아푸노프 함수 분석을 통해 수렴 확보: 𝒪(ε⁻⁴) 반복 이내 정류성 확보.

실험 결과

연구 질문

• RQ1 스티펠 만에서 약한 볼록 함수를 최소화하기 위한 리만 하위기울기 유형 방법의 전역 반복 복잡도는 무엇인가?
• RQ2 리만 하위기울기 방법이 스티펠 만에서 어떤 조건에서 국소 선형 수렴을 달성할 수 있는가?
• RQ3 약한 볼록 최소화에 대한 수렴 이론은 스티펠 만을 초월해 유클리드 공간의 다른 컴팩트 임베디드 부분다양체로 확장될 수 있는가?
• RQ4 강건한 부분공간 복원 및 직교 사전 학습의 공식화는 선형 수렴을 위한 날카운성 성질을 만족하는가?
• RQ5 비연속, 비볼록 목적 함수를 가진 실세계 공학 문제에서 제안된 방법의 실용적 성능은 어떠한가?

주요 결과

• 리만 하위기울기, 인크리멘탈 하위기울기, 스토하스틱 하위기울기 방법 모두 자연적인 정류성 측정값이 ε 이하가 되도록 하는 전역 반복 복잡도 𝒪(ε⁻⁴)를 달성한다.
• 문제가 날카운성 조건을 만족하고 기하학적으로 감소하는 스텝 사이즈를 사용하며 적절한 초기화가 이루어지면, 리만 하위기울기 및 인크리멘탈 하위기울기 방법은 약한 날카운 최소값 집합으로 선형 수렴한다.
• 강건한 부분공간 복원 및 직교 사전 학습에 대한 수치 시뮬레이션은 감소하는 스텝 사이즈 하에서 하향 수렴을, 기하학적으로 감소하는 스텝 사이즈 하에서 선형 수렴을 보여준다.
• 스티펠 만에서 약한 볼록 함수에 대한 리만 하위기울기 부등식은 핵심 이론적 기여이며, 다양체 최적화 분야에서 별도의 관심을 끌 수 있다.
• 이론적 결과는 유클리드 공간의 컴팩트 임베디드 부분다양체의 일정한 클래스로 확장되며, 이 프레임워크의 적용 범위를 넓힌다.
• 전역 수렴 속도 𝒪(ε⁻⁴)는 타이트하지 않을 가능성이 높으며, 리만 프록실 링 포oin트 방법이 𝒪(k⁻¹ᐟ²)를 달성하므로 향후 연구에서 향상 가능성이 존재한다.