[論文レビュー] Solving for a Single Component of the Solution to a Linear System, Asynchronously

Christina Lee, Asuman Ozdaglar+1 more|arXiv (Cornell University)|Nov 10, 2014

Stochastic Gradient Optimization Techniques参考文献 8被引用数 2

ひとこと要約

この論文は、ネウマン級数と残差更新を活用して、大規模なスパース線形方程式 $Ax = b$ の解のうち1つの成分 $x_i$ を近似する非同期的で分散型のアルゴリズムを提示する。行列の行スパarsityとスペクトルノルムが有界な場合、$\epsilon\|x\|_2$-精度の近似を定数時間で達成し、全解を求める手法を上回る性能を発揮する。

ABSTRACT

We present a distributed asynchronous algorithm for approximating a single component of the solution to a system of linear equations $Ax = b$, where $A$ is a positive definite real matrix, and $b \in \mathbb{R}^n$. This is equivalent to solving for $x_i$ in $x = Gx + z$ for some $G$ and $z$ such that the spectral radius of $G$ is less than 1. Our algorithm relies on the Neumann series characterization of the component $x_i$, and is based on residual updates. We analyze our algorithm within the context of a cloud computation model, in which the computation is split into small update tasks performed by small processors with shared access to a distributed file system. We prove a robust asymptotic convergence result when the spectral radius $ ho(|G|) < 1$, regardless of the precise order and frequency in which the update tasks are performed. We provide convergence rate bounds which depend on the order of update tasks performed, analyzing both deterministic update rules via counting weighted random walks, as well as probabilistic update rules via concentration bounds. The probabilistic analysis requires analyzing the product of random matrices which are drawn from distributions that are time and path dependent. We specifically consider the setting where $n$ is large, yet $G$ is sparse, e.g., each row has at most $d$ nonzero entries. This is motivated by applications in which $G$ is derived from the edge structure of an underlying graph. Our results prove that if the local neighborhood of the graph does not grow too quickly as a function of $n$, our algorithm can provide significant reduction in computation cost as opposed to any algorithm which computes the global solution vector $x$. Our algorithm obtains an $\epsilon \|x\|_2$ additive approximation for $x_i$ in constant time with respect to the size of the matrix when the maximum row sparsity $d = O(1)$ and $1/(1-\|G\|_2) = O(1)$.

研究の動機と目的

• 全ベクトルを解かずに、大規模スパース線形方程式の解の1成分を計算するスケーラブルで分散型の手法を開発すること。
• 全解ベクトル $x$ を計算する必要があるが実際には $x_i$ のみが必要な場合に生じる計算上の非効率性を解消すること。
• クラウド環境における任意の更新順序やタスクスケジューリングに対しても耐障害性を有するアルゴリズムを設計すること。
• 行列の行スパarsityが有界で、スペクトル半径が1未満である場合に、大規模システムにおいて定数時間収束を達成すること。

提案手法

• アルゴリズムは、$x = Gx + z$ を満たす行列 $G$ を用いて、目的の成分 $x_i$ を無限級数として表現するネウマン級数展開を用いる。
• 各プロセッサが局所的な解推定値を更新する小規模な分散タスクにおいて、非同期な残差更新を実行する。
• 共有ストレージを備えたクラウドコンピューティングモデルに従い、独立したプロセッサが共有データに非同期にアクセス・更新できる。
• 収束性は、決定的更新ルールでは重み付きランダムウォーク、確率的更新ルールでは時刻および経路依存のランダム行列積の集中不等式を用いて分析する。
• スパarsityを活用し、各行の非ゼロ要素のみを更新することで、$d = O(1)$ の場合に1回の更新コストを削減する。
• 理論的分析では、確率的更新設定下での時刻および経路依存のランダム行列積を考慮する。

実験結果

リサーチクエスチョン

• RQ1 分散的・非同期的アルゴリズムは、全解ベクトルを計算するよりも、線形方程式の解の1成分を速く近似できるか？
• RQ2 非同期的で共有メモリ型のクラウド環境下で、収束挙動は更新順序と頻度にどのように依存するか？
• RQ3 行列 $G$ にどのような条件を課すと、1成分近似において定数時間収束が保証されるか？
• RQ4 行列 $G$ のスパarsityは、アルゴリズムの計算コストと収束速度にどのように影響するか？
• RQ5 経路依存の分布を伴う確率的更新ルールでも、収束が保証され、定量的な境界が得られるか？

主な発見

• 最大行スパarsity $d = O(1)$ かつ $1/(1 - \|G\|_2) = O(1)$ の場合、$n$ に依存しない定数時間で $\epsilon\|x\|_2$-精度の $x_i$ 近似が達成される。
• 任意の更新順序に対して、$\rho(|G|) < 1$ のとき、漸近的に収束が保証され、非同期環境における耐障害性が確保される。
• 収束速度は更新ルールに依存する：決定的ルールは重み付きランダムウォークのカウントを用いて分析され、確率的ルールは時刻および経路依存のランダム行列積の集中不等式が用いられる。
• スパースな $G$ で $d = O(1)$ の場合、全解計算と比較して顕著な計算コストの削減が達成される。
• 任意かつ非同期的なタスクスケジューリングに対しても、理論的に収束が保証されるため、大規模クラウド環境への展開に適している。
• 理論的枠組みは、弱いスペクトル条件の下で、決定的および確率的更新戦略の両方をカバーし、形式的な収束保証を提供する。