[논문 리뷰] Time-Varying Convex Optimization via Time-Varying Averaged Operators

Andrea Simonetto|arXiv (Cornell University)|2017. 04. 24.

Sparse and Compressive Sensing Techniques참고 문헌 71인용 수 37

한 줄 요약

이 논문은 시간에 따라 변화하는 볼록 최적화 문제를 위한 통합 프레임워크를 제안하며, 시간에 따라 변화하는 평균 연산자를 사용하여 강한 볼록성이나 미분 가능성 조건 없이도 최적 해를 추적할 수 있는 실행 가능한 알고리즘을 가능하게 한다. 약한 조건 하에서도 프로젝션 기반 경사하강법, 프락시멀-포인트, 프론트워드-백워드 분할, ADMM와 같은 주요 알고리즘의 실행형 버전에 수렴성을 보장한다. 이는 ℓ₁-규제 최적화 문제와 같은 문제들에 대한 적용 범위를 크게 넓힌다.

ABSTRACT

Devising efficient algorithms that track the optimizers of continuously varying convex optimization problems is key in many applications. A possible strategy is to sample the time-varying problem at constant rate and solve the resulting time-invariant problem. This can be too computationally burdensome in many scenarios. An alternative strategy is to set up an iterative algorithm that generates a sequence of approximate optimizers, which are refined every time a new sampled time-invariant problem is available by one iteration of the algorithm. These types of algorithms are called running. A major limitation of current running algorithms is their key assumption of strong convexity and strong smoothness of the time-varying convex function. In addition, constraints are only handled in simple cases. This limits the current capability for running algorithms to tackle relevant problems, such as $\ell_1$-regularized optimization programs. In this paper, these assumptions are lifted by leveraging averaged operator theory and a fairly comprehensive framework for time-varying convex optimization is presented. In doing so, new results characterizing the convergence of running versions of a number of widely used algorithms are derived.

연구 동기 및 목표

• 기존의 실행 가능한 알고리즘이 시간에 따라 변화하는 최적화 문제에서 강한 볼록성과 미분 가능성 조건을 요구하는 한계를 해결하기 위해.
• 더 넓은 범주에 속하는 시간에 따라 변화하는 볼록 최적화 문제에 적용 가능한 실행 가능한 알고리즘에 대한 일반적인 수렴 이론을 개발하기 위해.
• ℓ₁-규제 프로그램을 포함한 비미분 가능성과 제약 조건이 있는 문제들로 실행 방법의 적용 범위를 확장하기 위해.
• 더 약한 조건 하에서도 널리 사용되는 알고리즘들인 ADMM와 이중 분해의 실행형 버전에 수렴 보장을 제공하기 위해.
• 시간에 따라 변화하는 최적화 문제에서의 실행 가능한 알고리즘을 통합하고 일반화하기 위해 평균 연산자 이론을 활용하기 위해.

제안 방법

• 시간에 따라 변화하는 평균 연산자 이론을 활용하여 시간에 따라 변화하는 볼록 문제에서 최적화자의 진화를 모델링한다.
• 통합 알고리즘 프레임워크로서 맨-크라스노셀스키 고정점 반복의 실행형 버전을 도입한다.
• 유한한 편향에 의한 수렴 분석을 통해 반복값과 시간에 따라 변화하는 최적 해 사이의 오차 역학을 분석함으로써 수렴성을 확립한다.
• 연산자 이론 기반 변환을 통해 표준 알고리즘들(예: 프로젝션 기반 경사하강법, 프론트워드-백워드, 이중 상승)의 실행형 변형을 유도한다.
• 시간에 따라 변화하는 문제 파ameter에 대한 유계 조건을 도입함으로써 실행형 ADMM과 이중 분해를 유도한다.
• 시간에 따라 변화하는 조건 하에서 수렴성을 증명하기 위해 오차의 재귀적 유계 분석을 사용하며, 이는 최적 해 집합과 연산자 수축에 대한 편향까지 포함된다.

실험 결과

연구 질문

• RQ1 강한 볼록성이나 미분 가능성 조건 없이도 실행 가능한 알고리즘을 시간에 따라 변화하는 볼록 최적화 문제에 확장할 수 있는가?
• RQ2 문제의 파ameter가 시간에 따라 변화함에 따라 실행 가능한 고정점 반복의 수렴성을 어떻게 보장할 수 있는가?
• RQ3 시간에 따라 변화하는 설정에서 실행형 ADMM과 이중 분해의 수렴성을 보장하기 위한 조건은 무엇인가?
• RQ4 맨-크라스노셀스키 반복을 시간에 따라 변화하는 해를 안정적이고 유계적으로 추적할 수 있도록 어떻게 적응시킬 수 있는가?
• RQ5 평균 연산자 이론은 실행 가능한 최적화 알고리즘을 통합하고 일반화하는 데 어떤 역할을 하는가?

주요 결과

• 시간에 따라 변화하는 문제에 강한 볼록성이나 미분 가능성 조건이 없더라도 실행형 맨-크라스노셀스키 반복은 약한 조건 하에서도 수렴한다.
• 연산자 이론 기반 분석을 통해 프로젝션 기반 경사하강법, 프락시멀-포인트, 프론트워드-백워드 분할, 이중 상승 방법의 실행형 버전에 대해 수렴성을 확립하였다.
• 최적 해 집합에 대한 유계 편향 조건 하에서 실행형 ADMM과 이중 분해 알고리즘이 수렴함을 증명하였다.
• 정량적 오차 유계를 도출하였으며, 이는 연산자 반복의 평균 제곱 잔차가 O(1/T)에 유계되며, 시간에 따라 변화하는 편향 δ에 비례하는 항을 포함한다.
• 실행 알고리즘의 수렴 속도가 잔차의 평균 제곱 오차 기준으로 O(1/T)임을 입증하였으며, 이는 편향 크기 δ와 초기 오차에 명시적인 의존성을 갖는다.
• 이 프레임워크는 이전에 실행 가능한 알고리즘의 범위에 포함되지 않았던 ℓ₁-규제 및 기타 비미분 가능성 문제에 대한 수렴 분석을 가능하게 하였다.