[논문 리뷰] Communication-Efficient Distributed SVD via Local Power Iterations

Xiang Li, Shusen Wang외 2명|arXiv (Cornell University)|2020. 02. 19.

Matrix Theory and Algorithms참고 문헌 55인용 수 6

한 줄 요약

이 논문은 통신 비용을 줄이기 위해 각 통신 라운드당 다수의 로컬 파wr 반복을 수행하는 통신 효율적인 분산 SVD 알고리즘인 LocalPower를 제안한다. 고유벡터 정렬을 위해 직교 프로크루스테스 변환(OPT) 또는 부호 보정 기법을 사용하고, 통신 간격을 감쇠시키는 전략을 도입함으로써 LocalPower는 이론적으로 통신 복잡도를 $p$ 배 감소시키며, 더 적은 통신 라운드로 고정밀도 해에 수렴한다.

ABSTRACT

We study distributed computing of the truncated singular value decomposition problem. We develop an algorithm that we call exttt{LocalPower} for improving communication efficiency. Specifically, we uniformly partition the dataset among $m$ nodes and alternate between multiple (precisely $p$) local power iterations and one global aggregation. In the aggregation, we propose to weight each local eigenvector matrix with orthogonal Procrustes transformation (OPT). As a practical surrogate of OPT, sign-fixing, which uses a diagonal matrix with $\pm 1$ entries as weights, has better computation complexity and stability in experiments. We theoretically show that under certain assumptions exttt{LocalPower} lowers the required number of communications by a factor of $p$ to reach a constant accuracy. We also show that the strategy of periodically decaying $p$ helps obtain high-precision solutions. We conduct experiments to demonstrate the effectiveness of exttt{LocalPower}.

연구 동기 및 목표

• 데이터가 여러 노드에 분할 배포된 경우에 발생하는 분산 추출 SVD에서의 높은 통신 비용을 해결하기 위해.
• 동기화 빈도를 줄임으로써 대규모 SVD에서의 확장성과 월클럭 런타임을 향상시키기 위해.
• 낮은 통신 빈도에도 불구하고 수렴성과 정확성을 유지하는 안정적이고 효율적인 알고리즘을 개발하기 위해.
• 실제 조건에서 통신 복잡도 감소와 수렴 보장에 대한 이론적 근거를 제공하기 위해.
• 국소 업데이트, 고유벡터 정렬 기법, 적응형 통신 간격의 효과를 실험적으로 검증하기 위해.

제안 방법

• 알고리즘은 데이터 행렬 $\mathbf{A} \in \mathbb{R}^{n \times d}$를 $m$개의 워커 노드에 균일하게 분할하고, 각 통신 라운드당 $p$회의 로컬 파워 반복을 수행함으로써 동기화 주파수를 낮춘다.
• 각 라운드의 로컬 업데이트 이후, 서버는 고유벡터 행렬 간의 정렬을 향상시키기 위해 직교 프로크루스테스 변환(OPT)을 사용하여 결과를 집계한다.
• OPT의 계산 비용을 줄이기 위한 효율적인 대안으로 부호 보정 기법을 사용하며, 이는 $\pm 1$ 원소를 가진 대각행렬을 적용하여 고유벡터를 정렬함으로써 더 높은 안정성과 낮은 복잡도를 제공한다.
• 감쇠 전략을 도입하여, 로컬 반복 수 $p$를 시간이 지남에 따라 주기적으로 감소시킴으로써 수렴 정밀도를 향상시키고 발산을 방지한다.
• 하위공간 반복 및 직교 반복 원리를 기반으로 하며, 이론적 분석을 통해 일정 정밀도를 확보하기 위해 필요한 통신 라운드 수가 $\tilde{\mathcal{O}}(1/p)$로 감소함을 보여준다.
• 실제 세계 데이터셋을 사용하여 다양한 $p$와 $m$ 조건에서 OPT, 부호 보정, 기존 LocalPower 버전 간의 성능을 비교 평가한다.

실험 결과

연구 질문

• RQ1 각 통신 라운드당 다수의 로컬 파워 반복을 수행함으로써 분산 SVD에 필요한 통신 횟수를 크게 줄일 수 있는가?
• RQ2 직교 프로크루스테스 변환 또는 부호 보정을 통한 고유벡터 정렬이 분산 SVD의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ3 감쇠 전략을 적용한 통신 간격 조절이 LocalPower의 최종 해의 정밀도를 향상시키는가?
• RQ4 실제 적용에서 부호 보정 기법은 OPT에 비해 계산 효율성과 수치적 안정성 측면에서 어떻게 비교되는가?
• RQ5 워커 노드 수 $m$의 변화가 LocalPower의 수렴성과 오차에 미치는 영향은 무엇인가?

주요 결과

• 감쇠 전략을 적용한 LocalPower는 대부분의 데이터셋에서 거의 0에 가까운 오차를 달성하여 고정밀도 해에 수렴하는 것으로 나타났다.
• OPT 대신 부호 보정 기법을 사용할 경우 계산 비용을 최대 50%까지 줄일 수 있었으며, 정확도는 유사하게 유지되어 실용적인 대안으로 유용하다.
• 특히 $p=4$일 경우, 13개의 데이터셋 전반에서 LocalPower가 감쇠 전략을 적용하여 가장 낮은 오차를 기록했으며, A9a에서는 평균 오차 3.11e-04, Covtype에서는 4.95e-05를 기록했다.
• 감쇠 전략을 적용하지 않은 경우, $p$가 커질수록 오차가 증가하여, 정렬 없이 빈번한 로컬 업데이트가 성능을 악화시킬 수 있음을 이론적 기대와 일치시켰다.
• 정렬 또는 감쇠 전략 없이 사용하는 기존 LocalPower는 $p$가 클수록 특히 A9a 및 Ijcnn1와 같은 데이터셋에서 자주 발산하는 경향을 보였으며, 이는 안정화 기법의 필요성을 강조한다.
• 작은 수의 워커 노드($m$)를 사용할수록 오차가 낮아져, 더 적지만 더 강력한 노드를 사용할 경우 통신 효율성이 향상됨을 시사한다.