[論文レビュー] Numerically stable coded matrix computations via circulant and rotation matrix embeddings

Aditya Ramamoorthy, Tang Li|arXiv (Cornell University)|Oct 15, 2019

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

本稿は、巡回行列および回転行列埋め込みを用いた数値的に安定した符号化計算フレームワークを提案する。これは、分散行列計算における従来の多項式ベースの手法が直面する高条件数問題を克服することを目的としている。単位円上のパラメータを有する複素ベンドルム行列を用いながらも、実数上で計算を実行することで、最悪ケースの条件数が $ O(n^{s+5.5}) $ に上界付けられ、従来手法と比較して数個のオーダーも低い数値誤差を達成する。特に大規模システムにおける行列同士の積計算において顕著な改善が見られる。

ABSTRACT

Polynomial based methods have recently been used in several works for mitigating the effect of stragglers (slow or failed nodes) in distributed matrix computations. For a system with $n$ worker nodes where $s$ can be stragglers, these approaches allow for an optimal recovery threshold, whereby the intended result can be decoded as long as any $(n-s)$ worker nodes complete their tasks. However, they suffer from serious numerical issues owing to the condition number of the corresponding real Vandermonde-structured recovery matrices; this condition number grows exponentially in $n$. We present a novel approach that leverages the properties of circulant permutation matrices and rotation matrices for coded matrix computation. In addition to having an optimal recovery threshold, we demonstrate an upper bound on the worst-case condition number of our recovery matrices which grows as $\approx O(n^{s+5.5})$; in the practical scenario where $s$ is a constant, this grows polynomially in $n$. Our schemes leverage the well-behaved conditioning of complex Vandermonde matrices with parameters on the complex unit circle, while still working with computation over the reals. Exhaustive experimental results demonstrate that our proposed method has condition numbers that are orders of magnitude lower than prior work.

研究の動機と目的

• 多項式ベースの符号化計算スキームにおける数値的不安定性という重要な問題に取り組むこと。特に、実ベンドルム行列における指数関数的に増大する条件数の問題を解決すること。
• 単位円上にパラメータを持つ複素ベンドルム行列の良好な条件数特性を保ちつつ、実数での計算フレームワークを構築すること。
• ストレージや遅延の影響を受けるワーカーノード数に対して、最適な回復閾値と多項式的に有界な最悪ケース条件数を達成すること。
• 行列-ベクトルおよび行列-行列計算の両設定において、既存手法と比較して顕著な数値的精度および安定性の向上を示すこと。

提案手法

• 回復プロセスを構造化するために、巡回置換行列および回転行列を用いて行列計算タスクを埋め込む。
• 単位円上に根を持つ複素ベンドルム行列を用いることで、良好な条件数を持つ回復システムを保証するが、ワーカーノードでは実数値計算を維持する。
• 数値的安定性を保つように構造化された埋め込みを介して回復行列を構築し、条件数の増大に対する理論的上界を提示する。
• 複素数体上で動作する復号戦略を採用するが、これは実数符号化されたワーカー計算から導出されるため、正確な再構成が可能である。
• ブロック対角埋め込み技術を用いて、サブ行列計算をワーカーに分散させ、障害耐性および最適な回復閾値を確保する。
• 体系的な数値実験を通じて、条件数の低減および誤差性能が、さまざまなシステムサイズおよび遅延ノード数において検証される。

実験結果

リサーチクエスチョン

• RQ1 巡回行列および回転行列埋め込みを用いることで、実数値のワーカー計算を維持しつつ、数値的に安定した符号化計算を達成できるか？
• RQ2 このようなスキームにおける回復行列の最悪ケース条件数は何か？また、ワーカーノード数および遅延ノード数に伴いどのようにスケーリングされるか？
• RQ3 本手法の数値誤差（正規化平均二乗誤差で測定）は、既存の実ベンドルム行列および直交多項式ベースの手法と比較してどの程度であるか？
• RQ4 提案手法は、従来手法と比較して条件数を顕著に低減しつつも、最適な回復閾値を維持できるか？

主な発見

• 回復行列の最悪ケース条件数は $ O(n^{s+5.5}) $ に上界付けられ、$ s $ が定数のとき $ n $ に対して多項式的に増大する。これは、従来の実ベンドルム行列スキームにおける指数関数的増大と対照的である。
• $ n=31 $ の行列-行列乗算において、回転行列埋め込みスキームの最悪ケース条件数は、実ベンドルム手法と比較して約11桁低い。
• 回転行列埋め込みの正規化平均二乗誤差（MSE）は、[15]の手法と比較して約5桁低いことが確認され、優れた数値的精度を示している。
• $ n=17 $ の場合、本手法の最悪ケース条件数は[15]の手法と比較して4桁低いが、ワーカー計算および復号時間は類似している。
• 本手法は最適な回復閾値 $ au = k_A k_B $ を維持しており、$ n-s $ 個のノードがタスクを完了すればマスターノードが結果を復号可能であることを保証する。
• 実験結果から、実ベンドルムケースの正規化MSEが極めて高いためプロットされなかった。これは、実際の応用においてその数値的不安定性が顕著であることを確認する。