[論文レビュー] Randomized Iterative Methods with Alternating Projections

Hua Xiang, Lin Zhang|arXiv (Cornell University)|Aug 31, 2017

Advanced Optimization Algorithms Research参考文献 12被引用数 11

ひとこと要約

本稿では、行列積分を用いた交互射影を活用することで、カツマルツ法や座標降下法を含む16種類の確率的反復法を統一的な枠組みで提示する。正定値性の仮定を必要としない一般条件のもとで収束性を確立し、ブロックおよびガウス分布サンプリング戦略による高速収束を数値的検証で示している。

ABSTRACT

We use a unified framework to summarize sixteen randomized iterative methods including Kaczmarz method, coordinate descent method, etc. Some new iterative schemes are given as well. Some relationships with extsc{mg} and extsc{ddm} are also discussed. We analyze the convergence properties of the iterative schemes by using the matrix integrals associated with alternating projectors, and demonstrate the convergence behaviors of the randomized iterative methods by numerical examples.

研究の動機と目的

• カツマルツ法や座標降下法といった多様な確率的反復法を、一つの理論的枠組みで統一すること。
• 係数行列の正定値性を仮定せず、交互射影に関連する行列積分を用いてこれらの手法の収束性を分析すること。
• 既存の手法（mg や ddm など）と関連づける新しい反復スキームを導出すること。
• 離散的およびガウス分布サンプリング戦略を比較する数値例を通じて、本フレームワークの有効性を実証すること。

提案手法

• 本フレームワークは、$Y \in \mathbb{R}^{m \times l}$ および $Z \in \mathbb{R}^{n \times l}$（$l \ll \min\{m,n\}$）というフル・カラム・ランクの行列を用い、一般化された反復スキーム $x^{k+1} = x^k + \Xi(b - Ax^k)$ を定義する。ここで $\Xi = Z(Y^T A Z)^\dagger Y^T$ である。
• 反復行列 $T = I - \Xi A$ が射影行列であることが示され、非定常な交互射影のもとで誤差伝播 $e^{k+1} = T_k \cdots T_0 e^0$ を用いて収束性が分析される。
• 3種類のスキームが定義される：タイプ-k（行アクション、例：カツマルツ法）、タイプ-c（列アクション、例：座標降下法）、タイプ-s（対称ケース）。$Y$ や $Z$ を適切に選択することで、既存手法を回復できる。
• スケッチおよび最適化の視点を統合：タイプに応じて、$x^{k+1}$ は $Y^T A x = Y^T b$ を満たす条件下で $\|x - x^k\|_{G^{-1}}$ を最小化する、または $x = x^k + Z y$ を満たす条件下で $\|x - x^*\|_{\widehat{G}}$ を最小化する。
• 正定値性の仮定なしに、行列積分を用いて収束性を証明し、先行研究を拡張する。
• 数値実験では、一様非復元抽出（discrete sampling）とガウス分布（標準正規分布）からの抽出（Gaussian sampling）を比較し、テスト行列には MATLAB のスパース乱数生成器を用いた。

実験結果

リサーチクエスチョン

• RQ1 カツマルツ法や座標降下法といった多様な確率的反復法を統一的に扱える枠組みを構築できるか？
• RQ2 交互射影と行列積分は、係数行列の正定値性を仮定しない収束性の証明にどのように寄与するか？
• RQ3 サンプリング戦略（一様離散的 vs. ガウス分布）が収束速度および計算時間に与える影響は何か？
• RQ4 ブロックバージョンは単一サンプルバージョンと比較して、反復回数およびウォルク・クロック時間の面でどのように異なるか？
• RQ5 本フレームワーク内から新たな反復スキームを導出できるか？また、それらは mg や ddm といった既存手法とどのように関連するか？

主な発見

• ブロックバージョン（K3–K4, C3–C4）は、1ステップあたりのコストが高いため、単一サンプルスキームより反復回数が著しく少ない。これは MATLAB における効率的な行列-行列演算および最適化された線形ソルバーのおかげである。
• 乱数行列に対しては、ガウス分布サンプリング（K2, C2）が離散的サンプリング（K1, C1）よりも反復回数が少ないが、1ステップあたりのコストが高いため、全体の計算時間はやや長くなる。
• スパース非対称系（sprandn）に対しては、ガウス分布サンプリング（K2, C2）が離散的サンプリングよりも反復回数が多く、計算時間も長くかかることから、行列構造に敏感であることが示された。
• 対称正定値系（sprandsym）に対しては、ガウス分布サンプリング（S2）が離散的サンプリング（S1）を上回り、ブロックバージョン（S3–S4）は単一サンプルバージョンよりも高速であった。
• 本フレームワークは、既存手法（例：カツマルツ法、座標降下法）を正確に回復でき、3つの新しいスキームを導出することに成功し、広範な適用可能性を示した。
• 正定値性の仮定なしに、フル・カラム・ランクなどの一般仮定のもとで収束性が証明され、先行研究の理論的枠組みを大幅に拡張した。