[논문 리뷰] Rateless Codes for Private Distributed Matrix-Matrix Multiplication

Rawad Bitar, Marvin Xhemrishi외 1명|arXiv (Cornell University)|2020. 04. 27.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 비밀 분산 행렬-행렬 곱셈을 위한 rateless 코딩 기법인 RPM3을 제안한다. 이 기법은 계산 능력에 따라 다름을 고려해 동적으로 작업을 할당할 수 있도록 하며, 이는 이질적이고 시간에 따라 변화하는 워커 노드 환경에서 마스터가 작업을 효율적으로 관리할 수 있도록 한다. 다항식 보간법과 적응형 작업 스케줄링을 통해 RPM3는 작업 크기와 느린 작업자(스트래글러)에 대한 내성 능력 간의 독립성을 확보하여, 충분한 응답을 수신한 즉시 결과를 복원할 수 있도록 하여, 동적 환경에서의 계산 지연을 크게 감소시킨다. 이와 동시에 정보 이론적 비밀 보장도 유지한다.

ABSTRACT

We consider the problem of designing rateless coded private distributed matrix-matrix multiplication. A master server owns two private matrices $\mathbf{A}$ and $\mathbf{B}$ and wants to hire worker nodes to help compute the multiplication. The matrices should remain private from the workers, in an information-theoretic sense. This problem has been considered in the literature and codes with a predesigned threshold are constructed. More precisely, the master assigns tasks to the workers and waits for a predetermined number of workers to finish their assigned tasks. The size of the tasks assigned to the workers depends on the designed threshold. We are interested in settings where the size of the task must be small and independent of the designed threshold. We design a rateless private matrix-matrix multiplications scheme, called RPM3. Our scheme fixes the size of the tasks and allows the master to send multiple tasks to the workers. The master keeps receiving results until it can decode the multiplication. Two main applications require this property: i) leverage the possible heterogeneity in the system and assign more tasks to workers that are faster; and ii) assign tasks adaptively to account for a possibly time-varying system.

연구 동기 및 목표

• 워커의 이질성에 기반한 적응형 작업 할당을 통해 비밀 분산 행렬-행렬 곱셈에서 느린 작업자(스트래글러) 문제를 해결하는 것.
• 비협력 워커로부터 입력 행렬 A와 B의 정보 이론적 비밀 보장을 유지하는 것.
• 작업 크기가 스트래글러 내성 능력의 임계값과 독립된 고정된 크기로 유지되는 체계를 설계하여 동적 로드 밸런싱을 가능하게 하는 것.
• 충분한 결과가 수집된 후 조기에 복원할 수 있도록 하여 마스터의 대기 시간을 줄이고, 전체 계산 효율성을 향상시키는 것.

제안 방법

• 마스터는 행렬 A와 B를 부분 행렬으로 나누고, 다항식 보간법을 통해 무작위 행렬 R과 S를 사용해 작업을 인코딩한다.
• 각 워커는 유한체 Fq 내의 서로 다른 점 ai에서 두 다항식 f(x) = R(1−x) + Ax와 g(x) = S(1−x) + Bx의 평가값을 수신한다.
• 마스터는 워커들로부터 h(ai) = f(ai)g(ai)의 결과를 수신하고, 충분한 평가값을 확보한 후 보간법을 통해 전체 행렬 곱 C = AB를 복원한다.
• 워커들은 계산 능력에 따라 클러스터로 묶이며, 더 빠른 클러스터는 더 많은 작업(τu개의 작업 per 클러스터 u)을 할당받는다.
• 스케줄링은 라그랑주 보간법을 사용해 워커 응답의 부분 집합으로부터 행렬 곱을 재구성함으로써 비밀 보장과 정확성을 확보한다.
• 마스터는 워커 성능과 자원 가용성이 시간에 따라 변화함에 따라 작업 분배 전략을 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 이질적이고 시간에 따라 변화하는 워커 자원에 적응할 수 있는 비밀 분산 행렬-행렬 곱셈은 어떻게 설계할 수 있는가?
• RQ2 비밀 보장과 정확성을 유지하면서도 작업 크기를 스트래글러 내성 능력의 임계값에서 분리할 수 있는가?
• RQ3 rateless 비밀 계산 체계에서 계산의 유연성과 코딩 속도 사이의 상충 관계는 어떠한가?
• RQ4 클러스터 간 동적 작업 할당이 고정 임계값 체계에 비해 전체 계산 지연에 어떤 영향을 미치는가?
• RQ5 각 라운드에 다수의 다항식을 사용할 경우, 비밀 행렬 곱셈의 속도와 복원 지연에 어떤 영향을 미치는가?

주요 결과

• RPM3는 충분한 결과가 수신된 즉시 마스터가 행렬 곱을 복원할 수 있도록 하여, 고정된 응답 수를 요구하는 기존 체계보다 대기 시간을 줄였다.
• 이 기법은 워커의 속도에 비례해 작업을 동적으로 할당함으로써 이질적 환경에서의 시스템 효율성을 향상시켰다.
• m_I + z k_I + z - 1 ≤ -D 인 경우, RPM3의 속도는 [25]와 같은 이전 체계보다 낮으며, 이는 영향력과 속도 사이의 상충 관계를 나타낸다. 여기서 D = m_I k_I - m k (1+ε).
• τ_c < ⌈m k / (m_I k_I)⌉ 인 경우, RPM3는 마스터가 각 워커당 더 적은 작업을 기다려야 하므로 지연 시간을 감소시킨다.
• 필요한 결과 수 N은 N = 2 m k (1+ε) + (z−1) τ_c ∑γ_u,c + z τ_c γ_1,c 로 주어지며, 이는 클러스터 간 작업 분포를 고려한 것이다.
• 비밀 보장은 손상된 워커 수가 임계값 이하일 경우, 조건부 작업 할당 전략에도 불구하고 정보 이론적으로 유지된다.