[논문 리뷰] Optimal Algorithms for Decentralized Stochastic Variational Inequalities

Dmitry Kovalev, Aleksandr Beznosikov외 4명|arXiv (Cornell University)|2022. 02. 06.

Distributed Control Multi-Agent Systems인용 수 11

한 줄 요약

이 논문은 고정 및 시간에 따라 변하는 네트워크에서 분산된 확률적 변분부등식 문제에 대해 최적의 알고리즘을 제시하며, 통신 및 국부적 계산 복잡도에 대한 날카로운 하한을 확립한다. 네 가지의 새로운 알고리즘을 도입하여 이러한 하한을 충족시키며, 분산된 확률적, 결정적, 비분산 설정 전반에서 최신 기술 수준의 수렴 속도를 달성한다.

ABSTRACT

Variational inequalities are a formalism that includes games, minimization, saddle point, and equilibrium problems as special cases. Methods for variational inequalities are therefore universal approaches for many applied tasks, including machine learning problems. This work concentrates on the decentralized setting, which is increasingly important but not well understood. In particular, we consider decentralized stochastic (sum-type) variational inequalities over fixed and time-varying networks. We present lower complexity bounds for both communication and local iterations and construct optimal algorithms that match these lower bounds. Our algorithms are the best among the available literature not only in the decentralized stochastic case, but also in the decentralized deterministic and non-distributed stochastic cases. Experimental results confirm the effectiveness of the presented algorithms.

연구 동기 및 목표

• 분산된 확률적 변분부등식 문제에 대한 최적 복잡도 이해의 격차를 메우기 위해 통신 및 국부적 계산에 대한 날카로운 하한을 확립한다.
• 고정 및 시간에 따라 변하는 네트워크 구조에서 이러한 하한을 충족시키는 새로운 최적 알고리즘을 개발한다.
• 동일한 프레임워크를 활용하여 분산된 결정적 및 비분산된 확률적 설정에서 기존 결과를 통합하고 향상시킨다.
• 합성 및 실세계 벤치마크에서의 실험적 평가를 통해 이론적 성과를 검증한다.

제안 방법

• 정보 이론적 추론과 적대적 문제 구성 기법을 사용하여 분산된 확률적 변분부등식 문제에서 통신 및 국부적 반복의 날카로운 복잡도 하한을 유도한다.
• 고정 네트워크와 시간에 따라 변하는 네트워크에 각각 두 개의 알고리즘을 제안하며, 이는 기울기 추적과 분산 감소 기법의 새로운 조합에 기반한다.
• 스토케스틱 기울기와 네트워크 이질성 처리를 위해 국부 평균화와 모멘텀 기반의 수정된 엑스트라 기울기 방법을 도입한다.
• 통신 그래프의 스펙트럼 성질을 캡처하기 위해 네트워크 특성 파라미터 $\chi$를 도입하여 네트워크 구조에 대한 날카로운 복잡도 의존성을 가능하게 한다.
• 각 노드가 국부 데이터 샘플을 처리하고 기울기를 공약 기반 통신을 통해 집계하는 유한합(합형식) 스토케스틱 설정을 사용한다.
• 강한 모노톤성 및 리프시츠 연속성 가정 하에 수렴을 보장하기 위해 적응형 스텝 사이즈와 오차 피드백을 갖춘 双중 루프 구조를 적용한다.

실험 결과

연구 질문

• RQ1 고정 및 시간에 따라 변하는 네트워크에서 분산된 확률적 변분부등식 문제를 해결하기 위한 기본적인 통신 및 국부적 계산 복잡도의 한계는 무엇인가?
• RQ2 고정 및 시간에 따라 변하는 네트워크에서 이러한 하한을 충족시키는 최적 알고리즘을 구성할 수 있는가?
• RQ3 특성 수 $\chi$로 캡처된 네트워크 구조는 변분부등식 문제에 대한 분산 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘은 분산된 확률적 설정 외에도 비분산 및 결정적 변형에서 최적 성능을 달성할 수 있는가?
• RQ5 기존 최신 기술 수준의 방법과 비교하여 새로운 알고리즘은 수렴 속도와 내성 면에서 어떻게 성능을 발휘하는가?

주요 결과

• 이 논문은 고정 및 시간에 따라 변하는 네트워크에서 분산된 확률적 변분부등식 문제에 대해 통신 및 국부적 계산 복잡도에 대한 첫 번째 알려진 하한을 확립한다.
• 고정 네트워크의 경우 최적의 통신 복잡도는 $\mathcal{O}\left(\max[\sqrt{n}; \sqrt{\chi}] \frac{L}{\mu} \log \frac{1}{\varepsilon}\right)$이며, 이는 제안된 알고리즘의 상한과 정확히 일치한다.
• 시간에 따라 변하는 네트워크의 경우 통신 복잡도에 대한 하한은 $\mathcal{O}\left(\chi \frac{L}{\mu} \log \frac{1}{\varepsilon}\right)$이며, 이는 제안된 알고리즘이 이를 충족한다.
• 제안된 알고리즘은 유한합 스토케스틱 설정에서 최적의 국부적 반복 복잡도 $\mathcal{O}\left(\sqrt{n} \frac{L}{\mu} \log \frac{1}{\varepsilon}\right)$를 달성한다.
• Beznosikov 등과 Mukherjee & Chakraborty의 이전 연구를 포함한 기존 방법들보다 고정 및 시간에 따라 변하는 네트워크 환경에서 모두 뛰어난 성능을 보인다.
• 실험 결과는 이론적 성과를 확인하며, 베이스라인 분산 및 비분산 방법 대비 더 빠른 수렴 속도와 더 나은 확장성을 보여준다.