[논문 리뷰] Distributed Nonconvex Optimization: Gradient-free Iterations and Globally Optimal Solution

Zhiyu He, Jianping He외 2명|arXiv (Cornell University)|2020. 08. 01.

Distributed Control Multi-Agent Systems참고 문헌 66인용 수 5

한 줄 요약

이 논문은 단변수 목표 함수를 가진 제약 조건이 있는 비볼록 최적화를 위한 기울기 없이 분산되는 알고리즘인 CPCA를 제안한다. 체비셰프 다항식 근사, 평균 공감, 다항식 최적화를 조합함으로써 CPCA는 기하학적 수렴 속도를 보장하고, 0차 쿼리 수와 통신 효율성을 최소화하면서 $\backslash$backslash$\backslash$epsilon$-전역 최적 해를 달성한다. 이는 정밀도 요구 조건을 충족할 때 분산된 종료를 가능하게 한다.

ABSTRACT

Distributed optimization is concerned with using local computation and communication to realize a global aim of optimizing the sum of local objective functions. It has gained wide attention for a variety of applications in networked systems. This paper addresses a class of constrained distributed nonconvex optimization problems involving univariate objective functions, aiming to achieve global optimization without requiring local evaluations of gradients at every iteration. We propose a novel algorithm named CPCA, exploiting the notion of combining Chebyshev polynomial approximation, average consensus and polynomial optimization. The proposed algorithm is i) able to obtain $\epsilon$ globally optimal solutions for any arbitrarily small given accuracy $\epsilon$, ii) efficient in terms of both zeroth-order queries (i.e., evaluations of function values) and inter-agent communication, and iii) distributed terminable when the specified precision requirement is met. The key insight is to use polynomial approximations to substitute for general objective functions, and turn to solve an easier approximate version of the original problem. Due to the nice analytic properties owned by polynomials, this approximation not only facilitates efficient global optimization, but also allows the design of gradient-free iterations to reduce cumulative costs of queries and achieve geometric convergence when nonconvex problems are solved. We provide comprehensive analysis of the accuracy and complexities of the proposed algorithm.

연구 동기 및 목표

• 각 반복에서 기울기 평가가 필요하지 않은 분산 비볼록 최적화에서 전역 최적 해를 달성하는 데 도전한다.
• 단변수 국소 목표 함수를 가진 네트워크 시스템에서 전통적인 기울기 기반 방법의 높은 계산 및 통신 비용을 극복한다.
• 사용자가 지정한 정밀도 $\backslash$backslash$\backslash$epsilon$가 충족될 때 자동으로 종료되는 분산 알고리즘을 설계한다.
• 비볼록 목표 함수의 다항식 근사를 통해 효율적인 전역 최적화를 가능하게 하되, 다항식의 해석적 성질을 활용한다.
• 0차 오ракูล 사용을 최소화하면서도 기하학적 수렴 속도를 유지함으로써 확장성과 낮은 누적 쿼리 비용을 보장한다.

제안 방법

• 각 국소 비볼록 목표 함수를 체비셰프 다항식으로 근사하여 원래의 비볼록 문제를 다룰 수 있는 다항식 최적화 하위 문제로 변환한다.
• 평균 공감을 활용해 에이전트 간에 전역 다항식 계수를 공동으로 계산함으로써 중앙 집중식 제어 없이 분산 조율을 보장한다.
• 전역 최적화 문제를 다항식 최적화 작업으로 재구성하여 다항식 함수의 볼록성과 해석적 구조를 활용해 효율적인 해를 도출한다.
• 기능 값 쿼리(0차 정보) 기반의 기울기 없는 반복 업데이트를 설계하여 기울기 기반 방법 대비 누적 쿼리 비용을 감소시킨다.
• 수렴이 지정된 $\backslash$backslash$\backslash$epsilon$-정밀도에 도달할 때를 모니터링하여 알고리즘에 종료 감지 기능을 통합함으로써 분산 정지 기능을 실현한다.
• 체비셰프 다항식의 근사 오차 한계를 사용해 원래 문제와 근사 문제 사이의 격차를 제어하여 $\backslash$backslash$\backslash$epsilon$ 이내의 전역 최적성을 보장한다.

실험 결과

연구 질문

• RQ1 기울기 평가 없이도 분산 비볼록 최적화 알고리즘이 전역 최적성을 달성할 수 있는가?
• RQ2 다항식 근사 기법을 공감 프로토콜과 통합하여 분산 시스템에서 효율적이고 기울기 없는 전역 최적화를 어떻게 달성할 수 있는가?
• RQ3 분산 비볼록 최적화에서 근사 정밀도와 계산/통신 효율성 사이의 상충 관계는 어떠한가?
• RQ4 다항식 재구성에 의해 비볼록 문제에 대해 기울기 없는 분산 알고리즘에서 기하학적 수렴을 달성할 수 있는가?
• RQ5 지정된 정밀도 $\backslash$backslash$\backslash$epsilon$가 충족되었을 때, 전역 조율 없이 어떻게 분산 종료를 달성할 수 있는가?

주요 결과

• 제안된 CPCA 알고리즘은 임의로 작은 $\backslash$backslash$\backslash$epsilon > 0$에 대해 $\backslash$backslash$\backslash$epsilon$-전역 최적 해를 달성하며, 이는 이론적으로 전역 최적성을 보장한다.
• 알고리즘은 비볼록 문제를 해결할 때 기하학적 수렴 속도를 보이며, 0차 방법에서 일반적인 하향 수렴 속도보다는 뚜렷한 향상이다.
• 기능 값 평가만을 기반으로 하여 0차 쿼리를 최소화함으로써 기울기 기반 대비 누적 쿼리 비용을 감소시킨다.
• 체비셰프 다항식 근사를 사용함으로써 근사 오차가 유계가 되어 원래 문제에 대한 최적성 갭을 정밀하게 제어할 수 있다.
• 알고리즘이 본질적으로 분산되어 있으며, 정밀도 요구 조건 $\backslash$backslash$\backslash$epsilon$가 충족되면 외부 감시 없이 자동으로 종료된다.
• 공감 기반 계수 집계를 통해 통신 복잡도를 효율적으로 관리하여 네트워크 기반 에이전트 간의 확장성을 유지한다.