[논문 리뷰] Zeroth Order Nonconvex Multi-Agent Optimization over Networks

Davood Hajinezhad, Mingyi Hong외 1명|arXiv (Cornell University)|2017. 10. 27.

Distributed Control Multi-Agent Systems참고 문헌 46인용 수 40

한 줄 요약

이 논문은 기울기 정보 없이 함수 값만 접근 가능한 비볼록 다중 에이전트 네트워크를 위한 제로스터드 분산 최적화 알고리즘을 제안한다. 기울기 추적과 분산 감소 기법을 통합한 원천-이중법을 도입하여 일반적인 네트워크 구조에서 정류점으로의 비선형 수렴을 달성하며, 수렴 속도는 국소적 미분 가능성과 네트워크 구조에 따라 달라진다.

ABSTRACT

In this paper, we consider distributed optimization problems over a multi-agent network, where each agent can only partially evaluate the objective function, and it is allowed to exchange messages with its immediate neighbors. Differently from all existing works on distributed optimization, our focus is given to optimizing a class of non-convex problems, and under the challenging setting where each agent can only access the zeroth-order information (i.e., the functional values) of its local functions. For different types of network topologies such as undirected connected networks or star networks, we develop efficient distributed algorithms and rigorously analyze their convergence and rate of convergence (to the set of stationary solutions). Numerical results are provided to demonstrate the efficiency of the proposed algorithms.

연구 동기 및 목표

• 기울기 정보에 접근할 수 없는 다중 에이전트 네트워크에서 분산 비볼록 최적화 문제를 해결한다.
• 비볼록 정보 제약 조건 하에서 일반적인 네트워크 구조(무방향, 성냥갑 구조)에 대해 효율적인 알고리즘을 개발한다.
• 기능적 값 평가만을 사용하여 비볼록 문제에 대해 전역 수렴성 및 수렴 속도 분석을 수립한다.
• 기울기 계산이 현실 응용에서 불가능한 경우 제1차 방법의 한계를 극복한다.
• 일정 단계 크기와 제한된 통신 조건 하에서 정류 해법으로의 수렴에 대한 이론적 보장을 제공한다.

제안 방법

• 로컬 함수 정보를 네트워크 전역으로 전파하기 위해 기울기 추적 기능을 갖춘 원천-이중 알고리즘을 제안한다.
• 유한 차분 근사 기반으로 기능 평가만을 사용하여 기울기를 추정하기 위해 제로스터드 오ракulum을 활용한다.
• 수렴 안정성과 속도 향상을 위해 분산 감소 기법을 도입한다.
• 최적화 문제에서 비미분 가능 정규화 항을 처리하기 위해 프록시 연산자를 적용한다.
• 계산 오버헤드를 줄이기 위해 에이전트 집합에서 균일하게 샘플링하는 무작위 블록좌표 계획을 설계한다.
• 미분 가능성을 보장하고 기울기 추정을 가능하게 하기 위해 매개변수 μ를 가진 스무딩 목적 함수를 활용한다.

실험 결과

연구 질문

• RQ1 기울기 정보 없이 기능 값만을 사용하고 이웃 간 통신만을 통해 분산 비볼록 최적화를 달성할 수 있는가?
• RQ2 제한된 통신 조건과 제로스터드 피드백 하에서 분산 비볼록 문제에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ3 네트워크 구조와 국소적 미분 가능성 특성이 제로스터드 분산 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 일정 단계 크기를 사용하여 제로스터드 분산 비볼록 최적화에서 빠른 수렴을 달성할 수 있는가?
• RQ5 기울기 추정의 분산이 알고리즘의 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• 일정 단계 크기 조건 하에서 정류점 집합으로의 비선형 수렴 속도가 O(1/T)로 달성된다.
• 수렴 속도는 국소적 미분 가능성 파라미터의 합 ∑√Lμ,i에 따라 달라지며, 더 매끄러운 국소 함수일수록 성능 향상이 가능하다.
• 노이즈가 있는 기능 평가 조건 하에서도 알고리즘이 수렴을 유지하며, 샘플링 분산으로 인한 수렴 오차는 O(1/J) 이내로 제한된다.
• 이론적 분석 결과 기대 최적성 갭 E[Ψᵤ]는 O(1/T) + O(1/J) 이내로 제한되며, 여기서 T는 반복 횟수, J는 샘플 크기이다.
• 알고리즘은 네트워크 구조에 대해 강건하며, 무방향 및 성냥갑 구조 모두에서 수렴이 보장된다.
• 수치 결과는 제안된 알고리즘이 다양한 비볼록 테스트 문제에서 효율성과 확장성 모두를 입증한다.