[논문 리뷰] Distributed Zero-Order Optimization under Adversarial Noise

Arya Akhavan, Massimiliano Pontil외 1명|arXiv (Cornell University)|2021. 02. 01.

Distributed Control Multi-Agent Systems참고 문헌 35인용 수 5

한 줄 요약

이 논문은 강력한 볼록 함수를 네트워크 환경에서 최소화하기 위해, 기울기 정보가 제공되지 않고 오직 함수 값(악성 노이즈가 첨부된 상태)만 이용 가능한 분산 제로오더 프로젝션 그래디언트 디센트 알고리즘을 제안한다. 이 방법은 이전 연구 대비 네트워크 연결성과 차원 수에 대한 의존도에서 향상된 수렴 속도를 달성하며, 시간과 차원 수와 같은 핵심 매개변수에서 거의 최적임을 보여주는 이론적 경계를 제시한다.

ABSTRACT

We study the problem of distributed zero-order optimization for a class of strongly convex functions. They are formed by the average of local objectives, associated to different nodes in a prescribed network of connections. We propose a distributed zero-order projected gradient descent algorithm to solve this problem. Exchange of information within the network is permitted only between neighbouring nodes. A key feature of the algorithm is that it can query only function values, subject to a general noise model, that does not require zero mean or independent errors. We derive upper bounds for the average cumulative regret and optimization error of the algorithm which highlight the role played by a network connectivity parameter, the number of variables, the noise level, the strong convexity parameter of the global objective and certain smoothness properties of the local objectives. When the bound is specified to the standard undistributed setting, we obtain an improvement over the state-of-the-art bounds, due to the novel gradient estimation procedure proposed here. We also comment on lower bounds and observe that the dependency over certain function parameters in the bound is nearly optimal.

연구 동기 및 목표

• 기울기가 제공되지 않고 오직 함수 값(악성 노이즈가 첨부된 상태)만 이용 가능한 분산 최적화 문제를 다루기.
• 제한된 통신(이웃 노드 간에만 가능) 조건 하에서 네트워크의 에이전트들 간의 국소 목표 함수 평균을 최소화할 수 있는 확장 가능한 알고리즘 개발.
• 일반적인 노이즈 모델 하에서 최적화 오차와 누적 손실의 날카운 수렴 속도 확보.
• 네트워크 연결성과 차원 수에 대한 의존도 측면에서 기존 최첨단 제로오더 분산 최적화 방법을 향상시키기.
• 기존 비분산 설정에서 알려진 하한과 비교했을 때 거의 최적임을 입증하는 이론적 경계 수립.

제안 방법

• 이웃 노드 간에만 업데이트가 가능한, 오직 함수 값 쿼리만을 사용하는 분산 제로오더 프로젝션 그래디언트 디센트 알고리즘 제안.
• 향상된 계산 효율성과 수렴 속도를 가능하게 하는 새로운 제로오더 그래디언트 추정기 도입.
• 오차가 평균이 0이거나 독립적이지 않아도 되는 일반적인 노이즈 모델을 사용하여 함수 평가에 악성 노이즈를 허용.
• 네트워크 연결성을 모델링하기 위해 스펙트럼 갭 $1 - \rho$를 갖는 네트워크 행렬을 사용하고, 이를 수렴 경계에 통합.
• 반복값이 탇도 영역 내에 유지되도록 유클리드 투영을 이용하여 볼록 집합 $\Theta$에 투영.
• 집중 및 안정성 추론을 사용하여 누적 손실과 최적화 오차에 대한 이론적 경계 유도.

실험 결과

연구 질문

• RQ1 기울기 접근이 불가능한 상황에서 악성 노이즈가 존재하는 환경에서도 빠른 수렴을 달성할 수 있는 분산 제로오더 최적화 알고리즘이 존재하는가?
• RQ2 네트워크 연결성($1 - \rho$로 측정)은 제로오더 분산 최적화의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 차원 수 $d$와 강력한 볼록성 매개변수 $\alpha$는 최적화 오차와 손실에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 제로오더 설정에서 알려진 하한과 비교해 거의 최적의 수렴 속도를 달성할 수 있는가?
• RQ5 새로운 제로오더 그래디언트 추정기는 기존의 2점 추정기 대비 계산 비용과 오차 측면에서 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 알고리즘은 최적화 오차 경계 $O\left(\frac{d\sqrt{T}}{\sqrt{\alpha}(1 - \rho)} + \frac{d^2}{\alpha(1 - \rho)}\right)$를 확보하며, 이는 이전 연구 대비 네트워크 연결성 매개변수 $1 - \rho$에 대한 의존도가 향상됨을 보여준다.
• 누적 손실은 $O\left(\frac{d\sqrt{T}}{\sqrt{\alpha}(1 - \rho)} + \frac{d^2}{\alpha(1 - \rho)}\right)$로 경계지며, 이는 차원 수와 네트워크 구조의 역할을 부각시킨다.
• 기존의 제로오더 방법 대비 표준(비분산) 설정에서 $O(d^2)$의 계산적 이점을 확보함으로써, 새로운 그래디언트 추정기 덕분이다.
• Akhhavan 등 [2020]에서 알려진 하한과 비교했을 때, $T$와 $\alpha$ 또는 $T$와 $d$에 대해 이론적 경계가 거의 최적임을 확인함.
• 수치 실험을 통해 제안된 방법이 Akhavan 등 [2020]의 2점 추정기보다 최적화 오차 측면에서 더 우수한 성능을 보이며, 특히 고차원 및 기능 평가 수가 제한된 경우에 뚜렷한 우월성을 보임.
• 노이즈 모델이 평균이 0이거나 독립적이지 않아도 되므로, 실제 세계 상황에 광범위하게 적용 가능한 악성 노이즈 환경에서도 알고리즘이 효과적으로 기능함.