[論文レビュー] Preconditioning in Expectation

Michael B. Cohen, Rasmus Kyng+3 more|arXiv (Cornell University)|Jan 24, 2014

Stochastic Gradient Optimization Techniques参考文献 21被引用数 3

ひとこと要約

本稿では、正確なスペクトル近似を必要とせずに期待値においてほぼ最適な性能を達成する、ランダムサンプリングを用いた超スパース化の新規条件付け手法を提案する。この手法を再帰的条件付けおよび改善された埋め込み技術と組み合わせることで、期待時間 $m\log^{1/2}n$ に近い性能を達成するSDD線形方程式系の解法アルゴリズムを構築した。

ABSTRACT

We show that preconditioners constructed by random sampling can perform well without meeting the standard requirements of iterative methods. When applied to graph Laplacians, this leads to ultra-sparsifiers that in expectation behave as the nearly-optimal ones given by [Kolla-Makarychev-Saberi-Teng STOC`10]. Combining this with the recursive preconditioning framework by [Spielman-Teng STOC`04] and improved embedding algorithms, this leads to algorithms that solve symmetric diagonally dominant linear systems and electrical flow problems in expected time close to $m\log^{1/2}n$ .

研究の動機と目的

• ほぼ線形時間内にほぼ最適なスペクトル的および超スパース化されたグラフを効率的に構築するという未解決問題に取り組む。
• 標準的な反復法の要件を満たさない場合でも、期待値において良好に動作する確率的条件付けフレームワークを設計する。
• ランダムサブグラフサンプリングと再帰的条件付けを活用して、対称的対角優勢（SDD）線形方程式系の高速解法を実現する。
• バトソンらが提起した、効率的なほぼ最適なスパース化生成に関する未解決問題に対する構成的アルゴリズム的解答を提供する。

提案手法

• 最適な超スパース化グラフと同等の反復あたりの誤差低減を期待値で達成するため、エッジだけでなくサブグラフのランダムサンプリングを用いて条件付けを構築する。
• 条件付け付きチェビシェフ反復を用いた確率的リチャードソン反復を適用し、条件付けはスパニングツリーのストレッチおよび非ツリー辺のバインドを満たすサブグラフのランダムサンプリングにより構築される。
• コウティスらのフレームワークにインspiredされた再帰的条件付けフレームワークを統合し、徐々にスパース化が進むグラフのスローブチェーンを用いる。
• グラフとその木近似との間で解と誤差保証を転送するための埋め込み技術を用い、安定性と収束性を保証する。
• サンプル行列が強いスペクトル近似である必要がないことを前提とし、反復的線形方程式系解法を想定した分析に焦点を当てる。
• 期待値における誤差低減の統計的バウンドを用い、中間段階での大きな絶対誤差に対してもロバストな収束性を実現する。

実験結果

リサーチクエスチョン

• RQ1 サブグラフのランダムサンプリングにより、期待値においてほぼ最適な超スパース化グラフと同等の性能を示す条件付けが得られるか？
• RQ2 バトソンらが提起した未解決問題を解決し、ほぼ線形時間内にほぼ最適なスパース化グラフを構築できるか？
• RQ3 標準的なスペクトル近似の保証を満たさない確率的条件付けに対しても、再帰的条件付けフレームワークを適応可能か？
• RQ4 決定的構築とは異なり、ランダムサブグラフサンプリングを用いる場合でも、反復ごとの誤差低減を期待値で維持できるか？
• RQ5 改善された埋め込み技術と再帰的フレームワークを組み合わせることで、全体のソルバー実行時間をほぼ $m\log^{1/2}n$ に短縮できるか？

主な発見

• 提案されたアルゴリズムは、任意の定数 $\delta > 0$ に対して、期待時間 $\mathcal{O}(m\log^{1/2}n\log\log^{3+\delta}n\log(1/\epsilon))$ で対称的対角優勢線形方程式系を解き、ほぼ $m\log^{1/2}n$ の複雑さを達成する。
• 本手法は、Kollaら（2010年）のほぼ最適な超スパース化グラフと同等の誤差低減を期待値で達成するサブグラフのランダムサンプリングにより条件付けを構築する。
• ソルバー枠組みは、高確率で相対誤差 $\epsilon$ を $\mathcal{O}(m\log^{1/2}n\log\log^{3+\delta}n\log(1/\epsilon))$ 期待時間で達成する。
• 中間段階での大きな絶対誤差に対しても、強力な収束保証を持つ条件付け付きチェビシェフ反復に依存するため、アルゴリズムはロバストである。
• 解析により、条件付けが正確にスペクトル近似のバインドを満たさない場合でも、再帰的条件付けフレームワークがランダムサンプリング下でも安定であることが示された。
• 本アプローチにより、類似時間内に近似的に最小エネルギーを持つ電気的フローを生成可能であり、グラフアルゴリズムにおける双対問題への広範な適用可能性が示された。