[논문 리뷰] Coding Method for Parallel Iterative Linear Solver

Yaoqing Yang, Pulkit Grover외 1명|arXiv (Cornell University)|2017. 06. 01.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 분산 계산에서의 스트래글러 효과를 완화하기 위해 오류 수정 코드 원리를 활용하는 복호화 계산 방법을 제안한다. 이전 방법들이 스트래글러 결과를 기각하는 데 반해, 본 논문은 부분적이고 수렴하지 않은 결과까지 포함하여 모든 워커 출력을 가중 최소 제곱법으로 복호화하여 복제 기반 방법에 비해 훨씬 낮은 평균 제곱 오차(MSE)를 달성한다. 실제 개인화된 PageRank 실험에서 이론적 MSE 비율 분리도 최대 10⁴에 이르렀다.

ABSTRACT

Computationally intensive distributed and parallel computing is often bottlenecked by a small set of slow workers known as stragglers. In this paper, we utilize the emerging idea of "coded computation" to design a novel error-correcting-code inspired technique for solving linear inverse problems under specific iterative methods in a parallelized implementation affected by stragglers. Example applications include inverse problems in machine learning on graphs, such as personalized PageRank and sampling on graphs. We provably show that our coded-computation technique can reduce the mean-squared error under a computational deadline constraint. In fact, the ratio of mean-squared error of replication-based and coded techniques diverges to infinity as the deadline increases. Our experiments for personalized PageRank performed on real systems and real social networks show that this ratio can be as large as $10^4$. Further, unlike coded-computation techniques proposed thus far, our strategy combines outputs of all workers, including the stragglers, to produce more accurate estimates at the computational deadline. This also ensures that the accuracy degrades "gracefully" in the event that the number of stragglers is large.

연구 동기 및 목표

• 느린 워커로 인해 성능 저하 및 스피드업 제한이 발생하는 분산 반복 선형 해법기에서의 스트래글러 효과를 해결한다.
• 기존 복호화 계산 기법이 스트래글러 결과를 손실으로 간주하여 기각하는 한계를 극복한다.
• 스트래글러 수가 증가함에 따라 정확도가 부드럽게 떨어지도록 전략을 설계하면서도 수렴 속도와 해의 정확도를 향상시킨다.
• 모든 워커에서 부분 결과를 조합함으로써 실재 시스템에의 실용적 구현을 가능하게 한다. 이는 완전히 수렴하지 않은 워커의 결과도 포함한다.
• 계산 마감 시간 내에서 복제 기반 방법에 비해 평균 제곱 오차(MSE) 측면에서 이론적·실험적 우수성을 입증한다.

제안 방법

• 원본 문제와 선형 조합 문제를 워커에 분산 배포하여 부득이한 중복성을 생성함으로써 계산을 인코딩한다.
• 해결책이 병렬로 계산되는 조합 문제(예: 두 해의 합)를 포함한 구조적 인코딩 체계를 사용한다.
• 수렴에 가까운 워커에 더 높은 가중치를 할당하는 가중 최소 제곱법 복호화 알고리즘을 사용하며, 수렴하지 않은 결과는 소음으로 간주한다.
• 인코딩 행렬과 워커 신뢰도 추정치로부터 유도된 복호화 행렬을 포함하는 선형 시스템을 풀어 복호화 과정을 수립한다.
• 각 워커의 수렴 진도 추정치를 바탕으로 사전에 대각 행렬 Λ를 계산하여 복호화 중 동적 가중치를 적용할 수 있도록 한다.
• 파워 반복(개인화된 PageRank용)과 투영 기반 경사 하강법(그래프 신호 복구용)과 같은 반복 해법기에 통합함으로써 실제 워크로드와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 모든 워커 출력(수렴하지 않은 스트래글러 포함)을 활용하는 복호화 계산 전략이 반복 선형 해법기에서 복제 기반 방법에 비해 더 낮은 평균 제곱 오차(MSE)를 달성할 수 있는가?
• RQ2 계산 마감 시간이 증가함에 따라 복호화 기반 방법과 복제 기반 방법 간의 성능 격차는 어떻게 변화하는가?
• RQ3 스트래글러의 부분 결과를 조합하면 정확도가 떨어지는가, 아니면 여전히 해 추정에 의미 있는 기여를 할 수 있는가?
• RQ4 빠른 워커의 부분 행렬을 역행렬화할 때 발생하는 악조건 문제를 피할 수 있는가?
• RQ5 반복 해법기에서 딱딱한 손실 모델 대비 부드러운 가중 조합 방식의 이론적·실험적 우수성은 무엇인가?

주요 결과

• 고정된 계산 마감 시간 내에서 제안된 복호화 계산 방법은 복제 기반 방법에 비해 평균 제곱 오차(MSE)를 감소시키며, 마감 시간이 증가함에 따라 MSE 비율이 무한대에 수렴한다.
• 트위터 및 구글 플러스 소셜 네트워크에서의 실제 실험에서, 2초 마감 시간 내에서 복호화된 개인화된 PageRank의 MSE는 복제 기반 방법 대비 최대 10⁴ 배까지 낮아졌다.
• 본 방법은 부드러운 정확도 저하를 달성한다: 스트래글러 수가 많아져도 해의 정확도가 급격히 떨어지지 않고 부드럽게 저하된다.
• 기존 복호화 계산 기법이 스트래글러 결과를 기각하는 데 반해, 본 방법은 모든 워커 출력을 완전히 활용함으로써 더 높은 강인성과 정확도를 확보한다.
• 워커별 신뢰도 가중치를 적용하는 가중 최소 제곱 복호화 과정은 빠른 워커의 부분 행렬 역행렬화로 인한 악조건 문제를 피한다.
• 인코딩 및 복호화의 계산 복잡도는 O(nkN)로 표현되며, 여기서 n은 워커 수, k는 인코딩된 문제 수, N은 문제 크기이다. 이는 대규모 그래프 문제에 대해 실용적이다.