[논문 리뷰] Decentralized Riemannian Gradient Descent on the Stiefel Manifold

Shixiang Chen, Alfredo García외 2명|arXiv (Cornell University)|2021. 02. 14.

Distributed Control Multi-Agent Systems참고 문헌 45인용 수 4

한 줄 요약

이 논문은 네트워크를 통해 국소적 계산과 통신을 통해 글로벌 목적함수를 최소화하는 데 목적이 있는, 스티펠 맨포ลด라 위에서 비볼록 분산 최적화를 해결하기 위한 두 가지 탈중앙화 리만 최적화 알고리즘—DRSGD 및 DRGTA—을 제안한다. DRGTA는 일정한 스텝사이즈를 사용하여 정확한 수렴성을 확보하고, 정류점으로 향하는 수렴 속도가 O(1/K)이며, 이는 이 설정에서 처음으로 such 알고리즘을 제공한다.

ABSTRACT

We consider a distributed non-convex optimization where a network of agents aims at minimizing a global function over the Stiefel manifold. The global function is represented as a finite sum of smooth local functions, where each local function is associated with one agent and agents communicate with each other over an undirected connected graph. The problem is non-convex as local functions are possibly non-convex (but smooth) and the Steifel manifold is a non-convex set. We present a decentralized Riemannian stochastic gradient method (DRSGD) with the convergence rate of $\mathcal{O}(1/\sqrt{K})$ to a stationary point. To have exact convergence with constant stepsize, we also propose a decentralized Riemannian gradient tracking algorithm (DRGTA) with the convergence rate of $\mathcal{O}(1/K)$ to a stationary point. We use multi-step consensus to preserve the iteration in the local (consensus) region. DRGTA is the first decentralized algorithm with exact convergence for distributed optimization on Stiefel manifold.

연구 동기 및 목표

• 비볼록 분산 최적화 문제를 해결하는 데 있어, 제약 집합이 비볼록이고 에이전트 간의 일치가 요구되는 스티펠 맨포ลด라 위에서의 도전 과제를 다루기.
• 감소하는 스텝사이즈가 필요하지 않은 탈중앙화 알고리즘을 설계하여, 이전 방법의 한계를 극복하고 정류점으로의 수렴성을 유지하기.
• 벡터 이송을 피하고 다단계 공감을 활용하여 국소 반복값이 공감 영역 내에 유지되도록 하는 계산적으로 효율적인 방법 개발.
• 부드러움과 네트워크 연결성 가정 하에 스트로스틱 및 결정론적 변형에 대해 이론적 수렴 보장을 제공하기.
• 탈중앙화 최적화에서 스티펠 맨포ลด라에 대해 일정한 스텝사이즈를 사용하는 정확한 수렴 결과를 확립하여, 분산 리만 최적화 분야에서 중요한 격차를 메우기.

제안 방법

• 리트랙션 기반 업데이트와 다단계 공감을 사용하여 국소 공감 영역 내에 반복값을 유지하는 탈중앙화 리만 확률적 경사하강법(DRSGD)을 제안한다.
• 이중 변수를 사용하여 글로벌 기울기를 추적하는 새로운 탈중앙화 리만 기울기 추적 알고리즘(DRGTA)을 도입하여, 일정한 스텝사이즈를 사용함에도 정확한 수렴성을 달성한다.
• 수렴 분석을 위해 원시-이중 프레임워크를 활용하고, 기울기 추적을 통해 표준 탈중앙화 방법에서 흔히 발생하는 O(β/(1−σ₂)) 영역 오차를 제거한다.
• 비볼록 맨포ลด라 제약 조건을 다루기 위해 스티펠 맨포ลด라 위에서 리만 기울기와 리트랙션을 포함한 리만 최적화 도구를 적용한다.
• 다단계 공감을 적용하여 공감 오차를 줄이고 국소 반복값이 평균에 가까워지도록 보장하여 수렴 성질을 유지한다.
• 행렬 F-노름과 네트워크 파라미터 σ₂를 사용하여 기울기 오차와 공감 오차를 유계로 제한하고, 엄밀한 수렴 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일정한 스텝사이즈를 사용하는 탈중앙화 리만 최적화 알고리즘이 스티펠 맨포ลด라에서 정확한 수렴성을 통해 정류점으로 수렴할 수 있는가?
• RQ2 국소 함수들이 부드럽지만 비볼록일 경우, 스티펠 맨포ลด라에서 탈중앙화 리만 최적화 방법의 수렴 속도는 어떠한가?
• RQ3 기울기 추적 기법을 비볼록 다각형인 스티펠 맨포ลด라와 같은 리만 기반 최적화에 어떻게 적응시켜 일정한 스텝사이즈 오차를 제거할 수 있는가?
• RQ4 다단계 공감은 탈중앙화 리만 설정에서 국소 반복값이 공감 영역 내에 유지되고 수렴성이 향상되는 데 어떤 역할을 하는가?
• RQ5 벡터 이송 없이 리트랙션 기반 알고리즘을 설계하여, 스티펠 맨포ลด라에서 비볼록 분산 최적화에 대해 O(1/K) 수렴 속도를 달성할 수 있는가?

주요 결과

• DRGTA는 일정한 스텝사이즈를 사용하여 정류점으로 정확한 수렴성을 확보하고, O(1/K) 수렴 속도를 달성하여, 스티펠 맨포ลด라에서 분산 최적화에 대해 처음으로 such 알고리즘을 제공한다.
• DRSGD는 정류점으로 향하는 O(1/√K) 수렴 속도를 확보하며, ε-정류점 해를 구하기 위한 반복 복잡도는 O(1/ε²)이다.
• 벡터 이송을 피함으로써 이전 방법 대비 계산 비용을 감소시키고 구현을 단순화한다.
• 수렴 분석은 원시-이중 프레임워크에 기반하며, 네트워크 파rameter와 공감 오차를 사용하여 기울기 추적 오차를 유계로 제한한다.
• 다단계 공감을 통해 국소 반복값이 공감 영역 내에 유지되도록 보장하여 평균 반복값에서의 이탈을 통제한다.
• 이론적 경계 분석 결과, 최소 리만 기울기 노름은 DRSGD의 경우 O(1/√K)로 감소하고, DRGTA의 경우 O(1/K)로 감소하며, 네트워크 연결성과 문제 파라미터에 명시적인 의존성이 있다.