[논문 리뷰] Contraction Analysis of Geodesically Convex Optimization

Patrick M. Wensing, Jean-Jacques Slotine|arXiv (Cornell University)|2018. 06. 18.

Control and Stability of Dynamical Systems인용 수 1

한 줄 요약

이 논문은 리만 다양체 위에서 천이 볼록성(g-convexity)과 수축성의 등가성을 확립하며, 이는 천이 볼록 함수를 발견하고 효율적으로 최적화하는 데 수축 분석 도구를 적용할 수 있도록 한다. 이 결과는 비자율 시스템에 대한 체계적인 분석과 복잡한 최적화 구조의 모듈러 설계를 가능하게 한다.

ABSTRACT

Optimization is central to a wide array of problems across machine learning, estimation, automatic control, design, and many other areas. Convex optimization represents a subset of these instances where problems admit global solutions, which can often be computed using off-the-shelf solvers. Recently, increased attention has focused on geodesic convexity, or g-convexity. By endowing $\mathbb{R}^n$ with a Riemannian metric, non-convex problems can be transformed into convex ones over the induced Riemannian manifold. The main contribution of this paper is to provide a bridge between g-convexity and contraction analysis of nonlinear dynamical systems. Specifically, we show the equivalence between geodesic convexity and contraction of natural gradient flows. Given this result, existing tools from analysis and synthesis of nonlinear contracting systems can be considered to both discover and efficiently optimize g-convex functions. In addition, the contraction perspective allows one to easily apply results to non-autonomous systems, and to recursively build large optimization structures out of simpler elements.

연구 동기 및 목표

• 비선형 동역학 시스템에서 천이 볼록성과 수축 분석 간 격차를 메우기.
• 리만 다양체 위에서 자연 근사 경사 하강법의 흐름이 유일하게 천이 볼록 최적화 문제일 때만 수축성을 띠는 것을 보여주기.
• 기존의 수축 분석 도구를 사용하여 천이 볼록 최적화 문제를 발견하고 효율적으로 해결할 수 있도록 하기.
• 이러한 도구의 적용 범위를 비자율 시스템과 계층적 최적화 구조로 확장하기.

제안 방법

• 비볼록 문제를 유도된 다양체 위에서 천이 볼록 문제로 변환하기 위해 R^n에 리만 계량을 도입한다.
• 자연 근사 경사 하강법의 흐름을 리만 계량과 목적 함수의 그래디언트에 의해 유도된 동역학 시스템으로 정의한다.
• 자연 근사 경사 하강법의 흐름이 수축성임은 목적 함수가 리만 계량에 대해 천이 볼록일 때이고 그 때에만 성립함을 증명한다.
• 리만 헤시안과 계량 텐서를 분석에 활용하여 흐름의 안정성과 수렴성을 수축 이론을 통해 분석한다.
• 시간에 따라 변화하는 계량과 벡터장으로 프레임워크를 확장하여 비자율 시스템에 수축 도구를 적용한다.
• 수축하는 하위계를 조합하여 대규모 최적화 시스템을 순환적으로 구성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 리만 다양체 위에서 자연 근사 경사 하강법의 흐름의 수축성과 천이 볼록성 사이에 근본적인 연결 고리가 존재하는가?
• RQ2 수축 분석을 사용하여 천이 볼록 최적화 문제의 전역 수렴성을 검증할 수 있는가?
• RQ3 수축 이론은 비자율 천이 볼록 최적화 문제를 다룰 수 있도록 어떻게 확장될 수 있는가?
• RQ4 수축하는 하위계를 어떻게 조합하여 더 큰 안정성 있는 최적화 아키텍처를 구성할 수 있는가?
• RQ5 이 등가성은 비볼록 설정에서 최적화 알고리즘의 설계와 분석에 어떤 영향을 미치는가?

주요 결과

• 리만 다양체 위에서 함수의 천이 볼록성은 그 자연 근사 경사 하강법의 흐름의 수축성과 등가이다.
• 자연 근사 경사 하강법의 흐름이 수축하면, 초기화에 관계없이 유일한 최소화점으로의 전역 수렴이 보장된다.
• 이 프레임워크는 비자율 시스템으로 자연스럽게 확장되어 시간에 따라 변화하는 최적화 문제를 수축 도구를 사용해 분석할 수 있다.
• 등가성 덕분에 기존의 수축 합성 기법을 활용해 새로운 천이 볼록 최적화 알고리즘을 설계할 수 있다.
• 수축 성분을 순환적으로 조합함으로써 복잡한 최적화 시스템의 모듈러 설계를 지원한다.
• 결과적으로 이는 비볼록 문제를 천이 볼록 문제로 변환한 광범위한 클래스에 대해 동역학 시스템 도구를 적용할 수 있는 이론적 기반을 제공한다.