[논문 리뷰] Numerically stable coded matrix computations via circulant and rotation matrix embeddings

Aditya Ramamoorthy, Tang Li|arXiv (Cornell University)|2019. 10. 15.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 원형 및 회전 행렬 임bedding을 사용하여 분산 행렬 계산에서 기존 다항식 기반 방법이 애초부터 높은 조건수 문제를 겪는 것을 극복하기 위한 수치적으로 안정적인 코딩된 계산 프레임워크를 제안한다. 단위 원 위의 매개변수를 가진 복소 베르마인드 행렬을 실수 범주에서 활용함으로써, 최악의 조건수 상한선이 $ O(n^{s+5.5}) $로 제한되며, 이는 기존 방법 대비 수개의 주기적 낮은 수치 오차를 초래한다. 특히 대규모 시스템에서의 행렬-행렬 곱셈 상황에서 두드러진 성능 향상을 보인다.

ABSTRACT

Polynomial based methods have recently been used in several works for mitigating the effect of stragglers (slow or failed nodes) in distributed matrix computations. For a system with $n$ worker nodes where $s$ can be stragglers, these approaches allow for an optimal recovery threshold, whereby the intended result can be decoded as long as any $(n-s)$ worker nodes complete their tasks. However, they suffer from serious numerical issues owing to the condition number of the corresponding real Vandermonde-structured recovery matrices; this condition number grows exponentially in $n$. We present a novel approach that leverages the properties of circulant permutation matrices and rotation matrices for coded matrix computation. In addition to having an optimal recovery threshold, we demonstrate an upper bound on the worst-case condition number of our recovery matrices which grows as $\approx O(n^{s+5.5})$; in the practical scenario where $s$ is a constant, this grows polynomially in $n$. Our schemes leverage the well-behaved conditioning of complex Vandermonde matrices with parameters on the complex unit circle, while still working with computation over the reals. Exhaustive experimental results demonstrate that our proposed method has condition numbers that are orders of magnitude lower than prior work.

연구 동기 및 목표

• 다항식 기반 코딩된 계산 기법에서 발생하는 지수적으로 증가하는 조건수 문제로 인한 수치적 불안정성이라는 핵심 문제를 해결하기 위해.
• 단위 원 위의 매개변수를 가진 복소 베르마인드 행렬의 유리한 조건수 특성을 유지하면서도 실수 범주에서의 계산을 보장하는 실수 기반 계산 프레임워크를 개발하기 위해.
• 스트래글러가 존재하는 상황에서도 작업자 노드 수에 대해 다항식적으로 유 bounds된 최악의 조건수를 확보하면서 최적의 복구 임계값을 달성하기 위해.
• 행렬-벡터 및 행렬-행렬 계산 환경에서 기존 방법에 비해 수치 정확도와 안정성에서 뚜렷한 향상을 보여주기 위해.

제안 방법

• 복구 과정을 체계화하기 위해 순환치환 행렬과 회전 행렬을 사용하여 행렬 계산 작업을 임베딩한다.
• 단위 원 위의 근을 가진 복소 베르마인드 행렬을 활용하여 잘 조절된 복구 시스템을 확보하면서도, 작업자 노드에서는 실수값 계산을 유지한다.
• 수치적 안정성을 유지하는 구조적 임베딩을 통한 복구 행렬 구축과 함께 조건수 성장에 대한 이론적 상한선을 제공한다.
• 실수로 코딩된 작업자 계산에서 유도된 복소수 필드에서 작동하는 복구 전략을 적용하여 정확한 재구성 가능성을 확보한다.
• 블록 대각형 임베딩 기법을 적용하여 하위 행렬 계산을 작업자 간에 분산함으로써 장애 내성과 최적의 복구 임계값을 보장한다.
• 체계적인 수치 실험을 통해 다양한 시스템 크기와 스트래글러 수에서 조건수 감소 및 오차 성능을 검증한다.

실험 결과

연구 질문

• RQ1 원형 및 회전 행렬 임베딩을 사용하여 실수값 작업자 계산을 유지하면서도 수치적으로 안정적인 코딩된 계산을 달성할 수 있는가?
• RQ2 이러한 체계에서 복구 행렬의 최악의 조건수는 무엇이며, 작업자 수와 스트래글러 수에 따라 어떻게 변화하는가?
• RQ3 이러한 방법의 수치 오차(정규화된 MSE로 측정)는 기존 실수 베르마인드 행렬 및 직교 다항식 기반 접근법과 비교해 어떻게 되는가?
• RQ4 제안된 방법은 기존 방법에 비해 조건수를 크게 감소시키면서도 최적의 복구 임계값을 유지하는가?

주요 결과

• 복구 행렬의 최악의 조건수 상한선은 $ O(n^{s+5.5}) $로, $ s $ 가 일정할 경우 $ n $ 에 대해 다항식적으로 증가하며, 기존 실수 베르마인드 기반 방법의 지수적 증가와는 대조된다.
• $ n=31 $ 인 행렬-행렬 곱셈 상황에서, 회전 행렬 임베딩 방법은 실수 베르마인드 방법 대비 약 11개 주기적 낮은 최악의 조건수를 확보하였다.
• 회전 행렬 임베딩의 정규화된 MSE는 [15]의 방법에 비해 약 5개 주기적 낮아, 뛰어난 수치 정확도를 입증하였다.
• $ n=17 $ 인 경우, 제안된 방법의 최악의 조건수는 [15]의 방법보다 약 4개 주기적 낮았으며, 유사한 작업자 계산 및 복구 시간을 유지하였다.
• 최적의 복구 임계값 $ \tau = k_A k_B $ 를 유지하여, 마스터가 $ n-s $ 개의 노드가 작업을 완료하는 한 결과를 복구할 수 있음을 보장한다.
• 실험 결과, 실수 베르마인드 방법의 정규화된 MSE가 너무 높아 그림에 그려지지 않았으며, 실질적으로 수치적 불안정성을 확인하였다.