[논문 리뷰] Coded Iterative Computing using Substitute Decoding

Yaoqing Yang, Malhar Chaudhari외 2명|arXiv (Cornell University)|2018. 05. 15.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 8

한 줄 요약

이 논문은 저밀도 생성행렬(LDGM) 코드를 사용하여 분산 시스템에서 강력한 반복 계산을 가능하게 하는 새로운 코딩 계산 기법인 대체 복원( substitute decoding)을 소개한다. LDGM 코드는 오류 수정 능력이 떨어지지만, 대체 복원은 반복 방법의 수렴 성질을 활용하여 이전 반복의 결과를 보조 정보로 사용해 누락된 데이터를 복원함으로써, 생성행렬의 행당 비제로 요소가 2~3개뿐이어도 거의 잡음이 없는 수렴 속도를 달성한다.

ABSTRACT

In this paper, we propose a new coded computing technique called "substitute decoding" for general iterative distributed computation tasks. In the first part of the paper, we use PageRank as a simple example to show that substitute decoding can make the computation of power iterations solving PageRank on sparse matrices robust to erasures in distributed systems. For these sparse matrices, codes with dense generator matrices can significantly increase storage costs and codes with low-density generator matrices (LDGM) are preferred. Surprisingly, we show through both theoretical analysis and simulations that when substitute decoding is used, coded iterative computing with extremely low-density codes (2 or 3 non-zeros in each row of the generator matrix) can achieve almost the same convergence rate as noiseless techniques, despite the poor error-correction ability of LDGM codes. In the second part of the paper, we discuss applications of substitute decoding beyond solving linear systems and PageRank. These applications include (1) computing eigenvectors, (2) computing the truncated singular value decomposition (SVD), and (3) gradient descent. These examples show that the substitute decoding algorithm is useful in a wide range of applications.

연구 동기 및 목표

• 희소 행렬에 대한 코딩된 분산 계산에서 밀도가 높은 인코딩으로 인한 높은 저장 및 계산 비용을 해결하기 위해.
• 분산 시스템에서 워커의 손실 및 느린 처리(스트래글링) 상황에서도 강력한 반복 계산을 가능하게 하기 위해.
• 저밀도 생성행렬(LDGM) 코드가 새로운 복원 전략과 결합될 경우 거의 최적의 수렴 속도를 달성할 수 있음을 보여주기 위해.
• 코딩된 계산의 적용 범위를 선형 시스템을 넘어서 고유벡터 계산, 절단된 특이값 분해(Truncated SVD), 그리고 경사하강법으로 확장하기 위해.

제안 방법

• 코딩된 워커에서 얻은 부분 결과와 이전 반복의 출력 결과를 보조 정보로 사용하는 복원 전략인 대체 복원을 제안한다.
• 직교 투영을 사용한다: 하나는 가용한 부분 결과 공간에 대한 투영(Proj₁), 다른 하나는 그 여집합에 대한 투영(Proj₂)이며, 이를 통해 다음 반복값을 복원한다.
• 두 부분으로 이루어진 복원을 수행한다: x_{t+1} = Proj₁[f(x_t)] + Proj₂[x_t], 여기서 f(x_t)는 반복 함수(예: 행렬-벡터 곱셈)이다.
• 결합된 선형 시스템과 벡터화를 사용하여 오차 전파를 분석하고, 부분 생성행렬의 질서를 포함한 재귀적 오차 한계를 유도한다.
• 스펙트럼 분석과 기대값 경계를 사용하여 오차가 (1−δ)‖B_expand^{(k)}‖₂² + δ‖I‖₂² 형태로 감소함을 보여주며, δ는 투영 품질에 따라 결정된다.
• 오차가 부분 생성행렬의 질서가 증가할수록 감소하는 다수의 오차 인자 δ를 정의하며, 부분 행렬이 완전 질서일 경우 δ는 0에 수렴한다.

실험 결과

연구 질문

• RQ1 LDGM 코드는 오류 수정 능력이 떨어지지만, 희소 행렬에 대한 반복 코딩 계산에서 효과적으로 사용될 수 있는가?
• RQ2 대체 복원은 반복 방법의 수렴 행동을 어떻게 활용하여 분산 계산에서의 손실을 보완하는가?
• RQ3 대체 복원의 이론적 오차 감소 속도는 무엇이며, 잡음이 없는 수렴에 얼마나 가까이 도달할 수 있는가?
• RQ4 대체 복원은 PageRank를 넘어서 SVD나 경사하강법과 같은 다른 반복 작업으로 일반화될 수 있는가?
• RQ5 생성행렬의 밀도(예: 행당 2개 또는 3개의 비제로 요소)가 손실 상황에서 수렴 성능에 미치는 영향은 무엇인가?

주요 결과

• 생성행렬의 행당 비제로 요소가 2개뿐인 LDGM 코드를 사용한 코딩된 반복 계산은 일정 비율의 워커 손실 상황에서도 복제나 비코딩 방법보다 훨씬 뛰어난 수렴 속도를 달성한다.
• 생성행렬의 행당 비제로 요소가 3개일 경우, 코딩된 시스템의 수렴 속도는 거의 잡음이 없는 계산과 유사하여 거의 최적의 성능을 달성한다.
• 재구성된 반복값의 오차는 부분 생성행렬이 완전 질서에 가까워질수록 감소하는 다수의 오차 인자 δ를 통해 곱으로 감소하며, 부분 행렬이 완전 질서일 경우 δ는 0에 수렴한다.
• 이론적 분석 결과 오차 경계는 확장된 코드 행렬의 스펙트럼 노름과 투영 품질에 따라 달라지며, 수렴은 (1−δ)‖B_expand^{(k)}‖₂² + δ‖I‖₂² 형태로 지배된다.
• 대체 복원은 최소 거리가 낮은 코드일지라도 반복 계산에서 희소 코드를 사용하면서도 수렴 속도를 희생시키지 않도록 한다.
• 이 방법은 고유벡터 계산, 절단된 SVD, 경사하강법 등에 효과적으로 적용되며, PageRank를 넘어서도 넓은 적용 범위를 지닌다.