[논문 리뷰] Generalized Fractional Repetition Codes for Binary Coded Computations

Neophytos Charalambides, Hessam Mahdavifar외 1명|arXiv (Cornell University)|2021. 09. 22.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 일반화된 분수 반복 코드를 기반으로 하여 부동소수점 연산을 피하는 수치적으로 안정적이고 이진 코드화된 기울기 코딩 기법을 제안한다. 이는 분산 계산 환경에서 느린 작업자(스트래글러)에 대한 강건한 완화를 가능하게 하며, 낮은 복잡도의 디코딩을 보장하고 이질적인 워커를 지원하며, 다양한 성능 트레이드오프를 가진 코딩된 행렬 곱셈으로 확장 가능하다.

ABSTRACT

This paper addresses the gradient coding and coded matrix multiplication problems in distributed optimization and coded computing. We present a numerically stable binary coding method which overcomes the drawbacks of the extit{Fractional Repetition Coding} gradient coding method proposed by Tandon et al., and can also be leveraged by coded computing networks whose servers are of heterogeneous nature. Specifically, we propose a construction for fractional repetition gradient coding; while ensuring that the generator matrix remains close to perfectly balanced for any set of coded parameters, as well as a low complexity decoding step. The proposed binary encoding avoids operations over the real and complex numbers which are inherently numerically unstable, thereby enabling numerically stable distributed encodings of the partial gradients. We then make connections between gradient coding and coded matrix multiplication. Specifically, we show that any gradient coding scheme can be extended to coded matrix multiplication. Furthermore, we show how the proposed binary gradient coding scheme can be used to construct two different coded matrix multiplication schemes, each achieving different trade-offs.

연구 동기 및 목표

• 기존 기울기 코딩 기법이 실수나 복소수 산술에 의존함으로써 발생하는 수치적 불안정성을 해결하기 위해.
• 부동소수점 연산을 피하고 워커 간에 균형 잡힌 부하 분배를 유지하는 결정론적 이진 인코딩 방법을 개발하기 위해.
• 기존의 (s+1)가 n을 나누어야 한다는 제한적인 가정을 초월하여 분수 반복 코딩을 일반화하기 위해.
• 특히 대규모 분산 시스템에서 큰 디코딩 행렬을 사전에 계산하지 않아도 되는 효율적인 디코딩을 가능하게 하기 위해.
• 성능과 복잡도의 다양한 트레이드오프를 가진 코딩된 행렬 곱셈으로의 기울기 코딩 기법 확장 프레임워크를 수립하기 위해.

제안 방법

• 기존의 (s+1)가 n을 나누지 않더라도 균형 잡힌 생성 행렬을 유지하는 일반화된 분수 반복 코딩(GFRC) 구축 방식을 제안하여 워커 간 균일한 작업 분배를 보장한다.
• 실수 연산의 수치적 불안정성을 제거하기 위해 {0,1}에서의 이진 인코딩을 적용하여 분산 기울기 계산에서 고정소수점 산술을 가능하게 한다.
• 사전에 큰 디코딩 행렬을 구성하지 않는 저복잡도의 온라인 디코딩 알고리즘을 설계하여 계산 오버헤드를 감소시킨다.
• 다양한 계산 속도를 가진 이질적 워커 환경을 고려한 작업 할당 전략을 도입하여 모든 워커가 동일한 예상 완료 시간을 가지도록 한다.
• 기울기의 덧셈 구조와 행렬 곱의 성질을 활용하여, 임의의 정확한 기울기 코딩 기법을 코딩된 행렬 곱셈 기법으로 변환하는 방법을 수립한다.
• 제안된 이진 기울기 코딩에서 두 가지 다른 코딩된 행렬 곱셈 기법을 유도하였으며, 각각 복구 대역폭과 계산 부담 사이의 다른 트레이드오프를 달성한다.

실험 결과

연구 질문

• RQ1 분산 시스템에서 부동소수점 산술에 의존하지 않고 기울기 코딩을 어떻게 수치적으로 안정적으로 만들 수 있는가?
• RQ2 기존의 (s+1)가 워커 수 n을 나누어야 한다는 제약 조건을 초월하여, (s+1)∤n 인 경우에도 분수 반복 코딩을 어떻게 일반화할 수 있으며, 이로 인해 부하 분배와 디코딩 효율성이 유지되는가?
• RQ3 제안된 이진 인코딩 방식은 어떻게 다양한 계산 능력을 가진 이질적 워커 환경을 지원할 수 있는가?
• RQ4 기울기 코딩과 코딩된 행렬 곱셈 사이의 관계는 무엇이며, 어떻게 상호 변환할 수 있는가?
• RQ5 제안된 기울기 코딩 기법을 코딩된 행렬 곱셈에 적용할 경우 발생하는 성능 트레이드오프는 무엇이며, 이를 어떻게 최적화할 수 있는가?

주요 결과

• 제안된 일반화된 분수 반복 코딩은 (s+1)∤n 인 경우에도 균형 잡힌 생성 행렬을 유지하여 워커 간 균일한 작업 분배를 보장한다.
• 이진 인코딩 방식은 부동소수점 연산을 피함으로써 기울기 계산에서의 수치적 불안정성을 제거하고 고정소수점 구현을 가능하게 한다.
• 디코딩 과정은 큰 디코딩 행렬을 사전에 계산하지 않기 때문에 저복잡도를 달성하며, 최소한의 메모리 오버헤드로 온라인 디코딩이 가능하다.
• 다양한 계산 능력을 가진 워커를 고려한 작업 할당 전략을 통해 모든 워커가 동일한 예상 완료 시간을 가지도록 하여 이질성에 기인한 편향을 완화한다.
• 임의의 정확한 기울기 코딩 기법은 인코딩 및 디코딩 단계의 단순한 수정을 통해 코딩된 행렬 곱셈 기법으로 변환 가능하며, 이는 스트래글러에 강건한 행렬 곱셈을 가능하게 한다.
• 제안된 프레임워크에서 유도된 두 가지의 서로 다른 코딩된 행렬 곱셈 기법은 각각 복구 대역폭과 계산 부담 사이의 다른 트레이드오프를 달성한다.