[논문 리뷰] Coded Sparse Matrix Multiplication

Sinong Wang, Jiashang Liu외 1명|arXiv (Cornell University)|2018. 02. 09.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 73

한 줄 요약

희소 코드를 분산 A^T B 계산에 도입하여 희소성을 보존하고, 거의 최적에 가까운 회복 임계치 Theta(mn)을 달성하며, nnz(C)에서 거의 선형적인 디코딩 시간을 보장합니다.

ABSTRACT

In a large-scale and distributed matrix multiplication problem $C=A^{\intercal}B$, where $C\in\mathbb{R}^{r imes t}$, the coded computation plays an important role to effectively deal with "stragglers" (distributed computations that may get delayed due to few slow or faulty processors). However, existing coded schemes could destroy the significant sparsity that exists in large-scale machine learning problems, and could result in much higher computation overhead, i.e., $O(rt)$ decoding time. In this paper, we develop a new coded computation strategy, we call \emph{sparse code}, which achieves near \emph{optimal recovery threshold}, \emph{low computation overhead}, and \emph{linear decoding time} $O(nnz(C))$. We implement our scheme and demonstrate the advantage of the approach over both uncoded and current fastest coded strategies.

연구 동기 및 목표

• 대규모 분산 행렬 곱셈에서 스트래글러 문제를 동기부여하고 해결합니다.
• 입력/출력 희소성을 보존하여 계산 및 통신 오버헤드를 줄입니다.
• 거의 최적의 회복 임계치와 낮은 디코딩 복잡도를 가진 코딩 방식을 설계합니다.
• 희소 행렬에 맞춘 차수 분포 및 디코딩 알고리즘을 개발하고 분석합니다.
• 비코딩 방식과 기존 코딩 전략과 비교하여 실험적으로 벤치마크합니다.

제안 방법

• 각 웅업이 가중합된 A_i^T B_j를 가중치로 계산하는 (P,S)-희소 코드를 정의합니다.
• 각 코딩된 작업에 몇 개의 항이 참여하는지 결정하는 차수 분포 P를 사용합니다(웨이브 솔리톤 분포).
• 가중치로부터 계수 행렬 M을 형성하고 그래프 기반의 페일링 디코딩과 가우스 소거를 결합한 하이브리드 디코딩 알고리즘을 적용합니다.
• 페일링이 멈출 때 선형 결합을 통해 블록을 복구하는 루팅 단계 도입으로 디코딩이 높은 확률로 완료되도록 합니다.
• M의 전체 계수 조건이 임의의 이분 그래프에서 완전 매칭의 존재와 연결되어 높은 확률로 K = Theta(mn) 근처의 회복 임계치를 보장함을 입증합니다.
• 디코딩 복잡도는 O(nnz(C) ln(mn))이며, rt나 전체 행렬 크기가 아닌 nnz(C)에 따라 스케일링된다는 것을 보입니다.

실험 결과

연구 질문

• RQ1 희소하고 대규모 행렬 곱셈에서 스트래글러를 제거하면서 희소성을 손상시키지 않을 수 있습니까?
• RQ2 희소 입력에 대해 달성 가능한 회복 임계치와 디코딩 복잡도는 무엇이며 이를 nnz(C)에 거의 선형으로 만들 수 있습니까?
• RQ3 높은 확률로 전체 랭크 디코딩을 보장하는 차수 분포와 디코딩 절차를 어떻게 설계합니까?
• RQ4 실무에서 희소 코드를 비코딩, 희소 MDS, 곱셈 코드, 다항 코드, LT 코드 등의 기존 방식과 비교했을 때 어떤 차이가 있습니까?

주요 결과

• 희소 코드는 높은 확률로 회복 임계치 Theta(mn)을 달성합니다.
• 디코딩 시간은 nnz(C)에 대해 거의 선형입니다: O(nnz(C) ln(mn)).
• 계수 행렬의 평균 행 차수는 O(ln(mn))로, 희소 M의 α = O(ln(mn))를 산출합니다.
• 웨이브 솔리톤 분포는 일정한 루팅 단계로 거의 최적의 회복을 가능하게 합니다.
• 스워츠-제펠 리마는 임의의 이분 그래프에서 완전 매칭의 존재와 전체 랭크 간의 관계를 설명하여 전체 랭크 증명을 가능하게 합니다.
• 대규모 희소 행렬에 대한 실험 결과가 비코딩, LT 코드, 희소 MDS, 곱셈 코드, 다항 코드 기준선 대비 시간 개선을 크게 보여줍니다.