[논문 리뷰] Distributed Saddle-Point Problems Under Similarity

Aleksandr Beznosikov, Gesualdo Scutari외 2명|arXiv (Cornell University)|2021. 07. 22.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 11

한 줄 요약

이 논문은 국소 함수가 통계적 또는 구조적으로 유사한 상황에서 (강한-)볼록-(강한-)비볼록 손실 함수의 균형 문제를 해결하기 위한 통신 효율적인 분산 알고리즘을 제안한다. 함수 유사성 정도를 측정하는 매개변수 δ에 따라 통신 복잡도의 날카로운 하한을 도출하고, 이 하한에 로그 요소 이외에는 정확히 부합하는 알고리즘을 제안하여, 강건한 회귀와 같은 악조건 문제에서 비유사성 기반 방법보다 훨씬 높은 효율성을 확보한다.

ABSTRACT

We study solution methods for (strongly-)convex-(strongly)-concave Saddle-Point Problems (SPPs) over networks of two type - master/workers (thus centralized) architectures and meshed (thus decentralized) networks. The local functions at each node are assumed to be similar, due to statistical data similarity or otherwise. We establish lower complexity bounds for a fairly general class of algorithms solving the SPP. We show that a given suboptimality $ε>0$ is achieved over master/workers networks in $Ω\big(Δ\cdot δ/μ\cdot \log (1/\varepsilon)\big)$ rounds of communications, where $δ>0$ measures the degree of similarity of the local functions, $μ$ is their strong convexity constant, and $Δ$ is the diameter of the network. The lower communication complexity bound over meshed networks reads $Ω\big(1/{\sqrtρ} \cdot δ/μ\cdot\log (1/\varepsilon)\big)$, where $ρ$ is the (normalized) eigengap of the gossip matrix used for the communication between neighbouring nodes. We then propose algorithms matching the lower bounds over either types of networks (up to log-factors). We assess the effectiveness of the proposed algorithms on a robust logistic regression problem.

연구 동기 및 목표

• 분산 균형 문제(SPPs)에서 함수 유사성을 활용하는 이론적 및 알고리즘적 프레임워크의 부족을 해결한다. 특히 분산형 및 마스터-워커 네트워크에서 적용 가능하다.
• 국소 함수가 유사할 경우(δ로 측정됨) SPP를 해결하기 위한 통신 복잡도의 날카로운 하한을 도출한다.
• 마스터-워커 및 메쉬 네트워크 아키텍처 모두에 대해 유도된 하한에 로그 요소 이외에는 정확히 부합하는 증명 가능한 최적 알고리즘을 설계한다.
• 실세계 문제, 예를 들어 분산 강건한 회귀에서 유사성 인식 설계의 실용적 이점을 입증한다.
• 함수 유사성이 기존 SPP 해법이 유사성을 忽시하는 것에 비해 통신 비용을 감소시킬 수 있음을 이론적으로 입증한다.

제안 방법

• 국소 함수의 헤시안 또는 기울기 노름 차이가 δ 이내인 δ-관련 SPP를 정의하여, 노드 간 데이터의 통계적 유사성을 캡처한다.
• 마스터-워커 네트워크에 대한 통신 복잡도 하한을 유도: Ω(Δ·δ/μ·log(1/ε))이며, 여기서 Δ는 네트워크 지름, μ는 강한 볼록성 매개변수, ε는 목표 최적화 오차이다.
• 메쉬 네트워크에 대한 하한을 설정: Ω(1/√ρ · δ/μ · log(1/ε))이며, 여기서 ρ는 가소 행렬의 정규화된 고유값 갭이다.
• 두 네트워크 유형 모두에 대해 유도된 하한에 로그 요소 이외에는 정확히 부합하는 새로운 분산 알고리즘을 제안하며, 이는 유사성 인식 프리컨디셔닝을 사용한다.
• 학습 문제에서 일반적으로 δ ≪ L(Lipschitz 상수)임을 고려해, 국소 유사성 정보를 알고리즘 오рак루에 통합함으로써 통신 라운드 수를 감소시킨다.
• 분산 강건한 로지스틱 회귀 문제에서 접근 방식을 검증하여, 기준 방법 대비 더 빠른 수렴과 감소된 통신을 보여준다.

실험 결과

연구 질문

• RQ1 국소 함수가 유사할 경우(δ-관련) 분산 SPP를 해결하기 위한 기본 통신 복잡도 하한은 무엇인가?
• RQ2 함수 유사성(δ로 측정됨)은 표준 방법이 유사성을 忽시하는 것에 비해 분산 SPP 해법의 통신 효율성에 어떻게 영향을 미치는가?
• RQ3 마스터-워커 및 메쉬 네트워크 모두에 대해 유도된 하한에 부합하는 통신 복잡도를 달성하는 분산 알고리즘을 설계할 수 있는가?
• RQ4 어느 정도까지 유사성 인식 프리컨디셔닝은 강건한 회귀와 같은 악조건 문제에서 수렴을 향상시키는가?
• RQ5 다양한 네트워크 구조에서 δ, μ, Δ, ρ와 같은 핵심 매개변수에 따라 통신 복잡도 하한은 어떻게 스케일링되는가?

주요 결과

• 마스터-워커 네트워크의 통신 복잡도 하한은 Ω(Δ·δ/μ·log(1/ε))이며, 이는 L/μ 대신 δ/μ에 유리한 의존성을 보인다.
• 메쉬 네트워크의 경우 하한은 Ω(1/√ρ · δ/μ · log(1/ε))이며, δ/μ ≪ L/μ일 경우 이전 하한(예: L/μ에 비례)보다 향상된다.
• 제안된 알고리즘은 유도된 하한에 로그 요소 이외에는 정확히 부합하므로, 통신 효율성 측면에서 최적임을 증명한다.
• 강건한 회귀 실험에서, 유사성 인식 알고리즘은 표준 분산 SPP 해법보다 더 빠른 수렴과 더 적은 통신 라운드를 요구한다.
• 이러한 개선은 δ/μ는 작지만 L/μ는 큰 악조건 문제에서 특히 두드러지며, 이 경우 표준 방법은 실용적이지 않다.
• 분석 결과, 심지어 분산 환경에서도 함수 유사성을 활용해 통신 비용을 감소시킬 수 있으며, 수렴 보장을 훼손하지 않음을 보여준다.