[論文レビュー] Randomized Methods for Linear Constraints: Convergence Rates and Conditioning

D. Leventhal, Adrian S. Lewis|ArXiv.org|Jun 18, 2008

Sparse and Compressive Sensing Techniques参考文献 18被引用数 4

ひとこと要約

本稿は、線形方程式および不等式を解くための座標降下法および繰り返し射影法の確率的変種を分析し、適切な確率分布のもとで期待値における収束速度が条件数およびメトリック正則性測度によって上限付けられることを示している。主な貢献は、ホフマンの誤差境界や不適切化への距離といった自然な条件測度と線形収束速度を結びつける理論的枠組みを提供することにある。

ABSTRACT

We study randomized variants of two classical algorithms: coordinate descent for systems of linear equations and iterated projections for systems of linear inequalities. Expanding on a recent randomized iterated projection algorithm of Strohmer and Vershynin for systems of linear equations, we show that, under appropriate probability distributions, the linear rates of convergence (in expectation) can be bounded in terms of natural linear-algebraic condition numbers for the problems. We relate these condition measures to distances to ill-posedness, and discuss generalizations to convex systems under metric regularity assumptions.

研究の動機と目的

• 線形方程式を解くために確率的座標降下法を用いる際の線形収束速度を、条件数に基づいて確立すること。
• 確率的繰り返し射影法を線形不等式系に拡張し、収束速度を誤差境界および不実行性への距離と関連付けること。
• メトリック正則性の仮定の下で、凸結合可能性問題への収束解析を一般化すること。
• 古典的な条件測度（条件数や不適切化への距離など）を、確率的アルゴリズムの性能と結びつけること。
• 確率的アルゴリズムが、理論的解析が簡略化されているものの、決定的手法と同等の収束速度を達成できることを示すこと。

提案手法

• 線形方程式系の構造に適合した確率分布を用いた確率的座標降下法を用い、期待値における線形収束を保証する。
• 線形不等式の集合から制約を一様に確率的に選択する確率的繰り返し射影スキームを適用する。
• メトリック正則性および誤差境界理論を用いて、各反復における解集合への距離の期待値の減少を上限付ける。
• ピエラの積空間定式化を用いて、mセットの結合可能性問題を2セット問題に還元し、平均化射影法の解析を可能にする。
• 凸性およびジェンセンの不等式を活用した期待値不等式を用いて、確率的および平均化射影スキームを比較する収束速度を導出する。
• 収束速度の評価にホフマンの誤差境界およびレネガルの不実行性への距離を条件測度として用いる。

実験結果

リサーチクエスチョン

• RQ1 線形方程式系に対する確率的座標降下法は、標準的な条件数によって上限づけられた線形収束速度を達成できるか？
• RQ2 線形不等式系に対する確率的射影法は、決定的法と比較して収束速度および問題の条件依存性においてどのように異なるか？
• RQ3 メトリック正則性および誤差境界を用いて、確率的射影アルゴリズムの明示的収束速度を導出できるか？
• RQ4 線形結合可能性問題における確率的射影の収束速度と、不適切化への距離の関係は何か？
• RQ5 平均化射影法は、一様に確率的に選択された射影法よりも遅く収束しないか？そしてその速度は定量的に評価できるか？

主な発見

• 確率的座標降下法は、システム行列の条件数の関数によって上限づけられた期待値における線形収束速度を達成する。
• 線形不等式系に対しては、確率的繰り返し射影法がホフマンの誤差境界に関連する期待値における線形収束速度を達成する。
• 確率的アルゴリズムの収束速度は、$1 - \frac{1}{(m-1)\bar{\gamma}^2}$ で上限づけられ、ここで $\bar{\gamma}$ は真のモジュラス $\gamma$ よりも大きい正則性モジュラスである。
• 平均化射影法の収束速度は、確率的射影法よりも遅くならない。その速度は $1 - \frac{1}{m\bar{\gamma}^2}$ で上限づけられる。
• 古典的な条件測度（不適切化への距離、エーカート＝ヤングの定理など）と、確率的設定におけるアルゴリズムの収束速度を結びつける分析がなされた。
• 結果はメトリック正則性のもとで凸結合可能性問題に一般化され、収束速度が正則性モジュラスに依存することが示された。