[논문 리뷰] Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities

Aleksandr Beznosikov, Takáč, Martin외 1명|arXiv (Cornell University)|2023. 02. 15.

Contact Mechanics and Variational Inequalities인용 수 5

한 줄 요약

이 논문은 분산 변분부등식을 위한 새로운 분산 알고리즘을 제안하며, 유사성, 압축, 국소 단계를 통합함으로써 통신 오버헤드를 줄이는 데 초점을 맞춘다. 이 세 가지 핵심 기법을 상호보완적으로 조합함으로써 이론적·실제로 최적의 통신 복잡도와 뛰어난 수렴 속도를 달성하며, 합성 및 실제 데이터셋에 대한 적대적 학습 실험을 통해 검증된다.

ABSTRACT

Variational inequalities are a broad and flexible class of problems that includes minimization, saddle point, and fixed point problems as special cases. Therefore, variational inequalities are used in various applications ranging from equilibrium search to adversarial learning. With the increasing size of data and models, today's instances demand parallel and distributed computing for real-world machine learning problems, most of which can be represented as variational inequalities. Meanwhile, most distributed approaches have a significant bottleneck - the cost of communications. The three main techniques to reduce the total number of communication rounds and the cost of one such round are the similarity of local functions, compression of transmitted information, and local updates. In this paper, we combine all these approaches. Such a triple synergy did not exist before for variational inequalities and saddle problems, nor even for minimization problems. The methods presented in this paper have the best theoretical guarantees of communication complexity and are significantly ahead of other methods for distributed variational inequalities. The theoretical results are confirmed by adversarial learning experiments on synthetic and real datasets.

연구 동기 및 목표

• 분산 기계학습에서 변분부등식 문제의 통신 병목 현상을 해결한다. 이는 최소화, 안장점, 고정점 문제를 포함하는 광범위한 문제 클래스이다.
• 유사성, 압축, 국소 업데이트 중 하나 또는 두 가지만 적용 가능한 기존 방법의 한계를 극복한다.
• 유사성, 압축, 국소 단계의 세 가지 핵심 요소를 통합한 이론적으로 탄탄한 알고리즘을 개발하여 분산 변분부등식 문제에 적용한다.
• 분산 변분부등식 및 안장점 문제에 대해 기존에 알려진 바와 가장 우수한 이론적 통신 복잡도를 달성한다.
• 합성 및 실제 데이터셋에서의 적대적 학습 실험을 통해 제안된 방법을 실증적으로 검증한다.

제안 방법

• 기기 간 데이터 유사성을 활용하여 국소 함수가 약간 같다고 가정함으로써 더 효율적인 통신 및 업데이트 전략을 가능하게 한다.
• 통신 라운드당 전송되는 정보의 크기를 줄이기 위해 압축 기법을 적용함으로써 수렴 품질을 훼손하지 않는다.
• 동기화 전에 다수의 국소 업데이트를 수행함으로써 총 통신 횟수를 줄이기 위해 국소 단계를 통합한다.
• 모멘텀, 적응형 스텝 사이즈, 제어 변수 기반 분산 감소 기법을 사용하는 새로운 알고리즘(알고리즘 1 및 2)을 설계한다.
• 주 반복값과 모멘텀 기반 보조 반복값을 유지하는 하이브리드 업데이트 규칙을 도입하여 수렴 안정성을 향상시킨다.
• 수렴 속도와 안정성의 균형을 이루는 스텝 사이즈 선택 규칙을 제안하며, 문제의 조건 수치, 압축 오차, 국소 함수 유사성에 명시적인 의존성을 포함한다.

실험 결과

연구 질문

• RQ1 유사성, 압축, 국소 단계라는 세 가지 주요 통신 절감 기법을 분산 변분부등식 문제에 효과적으로 하나의 알고리즘으로 통합할 수 있는가?
• RQ2 이 세 가지 기법의 상호보완적 작용이 기존 방법보다 향상된 이론적 통신 복잡도를 제공하는가?
• RQ3 제안된 방법은 실질적으로 빠른 수렴을 달성할 수 있는가, 특히 적대적 학습 환경에서?
• RQ4 압축, 국소 업데이트, 함수 유사성 간의 상호작용이 수렴 보장과 통신 효율성에 어떤 영향을 미치는가?
• RQ5 기본 가정 하에 제안된 방법의 이론적 수렴 속도가 최적이 되는가?

주요 결과

• 제안된 알고리즘은 압축과 국소 단계를 통합함과 동시에 $\mathcal{O}\left(\frac{L}{\mu} \log \frac{1}{\varepsilon}\right)$의 통신 복잡도를 달성하며, 이는 초과 경사법의 최고 성능 수준과 일치한다.
• 합성 및 실제 데이터셋에서의 적대적 학습 실험에서 기존 베이스라인 대비 뛰어난 수렴 행동을 보였다.
• 이론적 분석 결과, 수렴 속도는 $\left(1 - \frac{\gamma\mu}{2}\right)^K$의 요소를 가진 선형 수렴 속도를 보이며, 여기서 $\gamma$는 스텝 사이즈이고 $\mu$는 강한 단조성 파라미터이다.
• 압축 및 함수 유사성 가정 하에서도 알고리즘이 수렴을 유지하며, 오차 전파에 대한 명시적 경계를 제공한다.
• 모멘텀과 적응형 스텝 사이즈 선택의 활용은 표준 초과 경사법 또는 국소 SGD 접근법 대비 안정성과 수렴 속도를 크게 향상시킨다.
• 이론적 보장은 표준 가정 하에 확립되었으며, 리프시츠 연속성, 강한 단조성, 유한한 압축 오차를 포함하고 있으며, $\delta$ (함수 유사성)와 $\gamma$ (스텝 사이즈)에 명시적인 의존성이 있다.