[논문 리뷰] Parallel and Distributed Methods for Nonconvex Optimization-Part I: Theory

Gesualdo Scutari, Francisco Facchinei외 2명|arXiv (Cornell University)|2014. 10. 17.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 36

한 줄 요약

이 논문은 원래 비볼록 목적 함수와 제약 조건의 볼록 근사치를 사용해 반복적으로 강한 볼록 부분문제를 해결하는 일반적이고 실현 가능하며 유연한 비볼록 최적화 프레임워크를 제안한다. 이 방법은 정류점으로의 수렴을 보장하며 분산 및 병렬 구현을 가능하게 하여 기존의 연속적인 볼록 근사(Successive Convex Approximation, SCA) 접근법을 통합하고 확장하며 더 넓은 적용 범위와 더이상 엄격한 근사 정도 요구 조건을 완화한다.

ABSTRACT

In this two-part paper, we propose a general algorithmic framework for the minimization of a nonconvex smooth function subject to nonconvex smooth constraints. The algorithm solves a sequence of (separable) strongly convex problems and mantains feasibility at each iteration. Convergence to a stationary solution of the original nonconvex optimization is established. Our framework is very general and flexible; it unifies several existing Successive Convex Approximation (SCA)-based algorithms such as (proximal) gradient or Newton type methods, block coordinate (parallel) descent schemes, difference of convex functions methods, and improves on their convergence properties. More importantly, and differently from current SCA approaches, it naturally leads to distributed and parallelizable implementations for a large class of nonconvex problems. This Part I is devoted to the description of the framework in its generality. In Part II we customize our general methods to several multi-agent optimization problems, mainly in communications and networking; the result is a new class of (distributed) algorithms that compare favorably to existing ad-hoc (centralized) schemes (when they exist).

연구 동기 및 목표

• 비볼록 제약 조건을 가진 비볼록 부드러운 최적화 문제를 해결하기 위한 일반적인 알고리즘 프레임워크를 개발함으로써 매 반복 단계에서 타당성을 유지하는 것.
• 일반적이고 유연한 이론적 구조 아래 기존의 중심집중식 연속 볼록 근사(Successive Convex Approximation, SCA) 방법들을 통합하고 확장하는 것.
• 다중 에이전트 시스템과 같은 대규모 비볼록 문제에 대해 분산 및 병렬 실행이 가능한 프레임워크를 제공하는 것.
• 목적 함수의 볼록 근사치가 원래 함수의 전역 상한이어야 하는 조건을 완화함으로써 방법의 적용 가능성을 높이는 것.
• 강한 볼록성과 기울기의 리프시츠 연속성 등의 온건한 가정 하에 원래 비볼록 문제의 정류점 해로의 수렴을 확립하는 것.

제안 방법

• 각 반복 단계에서 원래의 비볼록 목적 함수와 제약 조건을 볼록 근사치로 대체하여 강한 볼록 부분문제의 순서를 형성한다.
• 각 부분문제는 표준 원본/쌍대 분해 기법을 사용하여 해결되며, 이는 분산 및 병렬 계산을 가능하게 한다.
• 프레임워크는 원함수의 기울기 및 헤시안 정보를 기반으로 근사치를 구성하는 연속 볼록 근사 전략을 사용한다.
• 모든 반복점이 원래 제약 조건을 만족하도록 보장함으로써 타당성이 유지된다. 중간 단계에서도 마찬가지다.
• 볼록 근사치가 원함수의 전역 상한이 되어야 할 필요가 없으며, 이는 근사 설계의 유연성을 증가시킨다.
• 강한 볼록성과 해의 사상의 리프시츠 연속성에 기반한 이론적 분석을 통해 정류점으로의 수렴이 입증된다.

실험 결과

연구 질문

• RQ1 비볼록 최적화를 위한 일반적 프레임워크를 개발할 수 있는가? 이는 타당성을 유지하고 분산 계산을 가능하게 해야 한다.
• RQ2 기존의 SCA 기반 방법들을 더 넓은 적용 범위를 가진 단일 이론적 구조 아래 통합할 수 있는가?
• RQ3 이 프레임워크 하에서 원래 비볼록 문제의 정류점 해로의 수렴을 보장하는 조건는 무엇인가?
• RQ4 근사치에 대해 엄격한 전역 상한 조건을 완화함으로써 방법의 유연성과 적용 가능성이 어떻게 향상되는가?
• RQ5 이 프레임워크는 네트워킹 및 다중 에이전트 시스템에서 대규모 비볼록 문제를 위한 병렬 및 분산 실행을 어떻게 지원할 수 있는가?

주요 결과

• 제안된 프레임워크는 부분문제의 강한 볼록성과 근사 함수의 기울기의 리프시츠 연속성과 같은 온건한 가정 하에 원래 비볼록 문제의 정류점으로의 수렴을 보장한다.
• 모든 반복 단계에서 타당성이 유지되며, 이는 목적 함수가 타당 영역 외부에서 정의되지 않거나 실시간 제약 조건을 반드시 충족해야 하는 애플리케이션에 매우 중요하다.
• 이 프레임워크는 프록시멀 그라디언트, 블록 좌표 강하, DC 프로그래밍 방법과 같은 여러 고전적 SCA 기반 알고리즘을 일반화하고 통합한다.
• 목적 함수의 비엄격한 볼록 근사치를 允허함으로써 이전의 SCA 접근법보다 훨씬 넓은 범위의 문제에 적용 가능성이 크게 증가한다.
• 각 부분문제의 해는 원본/쌍대 분해를 사용해 분산 방식으로 계산할 수 있으며, 이는 병렬 아키텍처에서의 확장 가능한 구현을 가능하게 한다.
• Danskin의 정리와 강한 볼록성 논증을 활용한 도구를 사용해 이론적 수렴성을 입증하였으며, 타당 영역이 전체 공간이 아닐 경우에도 이 증명이 확장 가능하다.