[論文レビュー] On the Relation Between the Randomized Extended Kaczmarz Algorithm and Coordinate Descent

Bogdan Dumitrescu|arXiv (Cornell University)|May 27, 2014

Stochastic Gradient Optimization Techniques参考文献 6被引用数 4

ひとこと要約

この論文は、フルランクの過決定線形最小二乗問題を解く際に、確率的座標降下法（CD）が確率的拡張カツマルツ（EK）アルゴリズムを上回ることを確立している。著者らは、EKが交互にCDステップとカツマルツステップを実行することに相当することを示し、CDが反復回数と計算量の両面でより少ないことを証明した。したがって、過決定問題にはCDを、ランク不足の場合はCDに続くカツマルツを推奨する。

ABSTRACT

In this note we compare the randomized extended Kaczmarz (EK) algorithm and randomized coordinate descent (CD) for solving the full-rank overdetermined linear least-squares problem and prove that CD needs less operations for satisfying the same residual-related termination criteria. For the general least-squares problems, we show that running first CD to compute the residual and then standard Kaczmarz on the resulting consistent system is more efficient than EK.

研究の動機と目的

• 確率的拡張カツマルツ（EK）と座標降下法（CD）の間の計算的関係を、線形最小二乗問題に対して分析すること。
• EKが収束速度や計算コストの面でCDに優位性を示すかどうかを特定すること。
• より良い性能を発揮するCDとカツマルツを組み合わせた新たなアルゴリズム戦略を提案すること。
• 実用的応用においてEKをCDまたはCD+Kに置き換える理論的・実験的根拠を提供すること。

提案手法

• 論文は、EKをその構成要素に分解することでCDとEKを比較した。具体的には、CDによる残差近似と、それらの結果得られる一貫性のあるシステムに対するカツマルツ反復を含む。
• 両アルゴリズムにおけるランダムな列（CD）および行（カツマルツ）のサンプリングの選択確率を、フロベニウスノルムによって定義した。
• CDでは、残差がAの列空間に射影されることで更新される。一方、EKはCDとカツマルツステップを組み合わせた双対的残差更新機構を用いる。
• 理論的分析により、CDは独立して最小二乗解に収束するのに対し、EKはカツマルツを適用する前にCDによって良い残差近似を構築するに依存していることが示された。
• 数値実験では、密度の高いおよびスパースな行列を用い、次元とランクを変化させた状況で、CD、EK、CD+K、CD+EK+Kの正規化されたRMSEを比較した。
• 本論文はハイブリッド戦略を導入した。まずCDを実行して残差を近似し、その後標準的なカツマルツを一貫性のあるシステムに適用する。この戦略は、EKよりも効率的であることが示された。

実験結果

リサーチクエスチョン

• RQ1 フルランクの過決定最小二乗問題において、確率的拡張カツマルツアルゴリズムは反復回数と計算量の面で座標降下法よりも速く収束するか？
• RQ2 EKにおける残差近似を、収束品質や効率に損なわれることなく、座標降下法に置き換えられるか？
• RQ3 一般の最小二乗問題において、CDに続く標準的カツマルツを用いることで、EKを用いる場合に計算上の利点が得られるか？
• RQ4 反復回数に伴う残差誤差低減の観点から、EKはCDおよびハイブリッドCD+K手法と比べてどのように性能を発揮するか？
• RQ5 なぜ、列と行の射影を両方用いるにもかかわらず、EKはCDを上回ることができないのか？

主な発見

• フルランクの過決定最小二乗問題において、座標降下法（CD）は確率的拡張カツマルツ（EK）アルゴリズムよりも反復回数が少ない。
• CDは反復あたりの計算量がEKより少ない。CDは列のみを用いるが、EKは列と行の両方を用いるためである。
• フルランクの過決定問題では、収束が速く計算コストが低いことから、CDは常にEKよりも優れている。
• ランク不足またはランクが不明な問題では、CDに続く標準的カツマルツ（CD+K）がEKよりも効率的であり、CD+EK+Kとほぼ同等の性能を発揮する。
• 数値結果から、CDの収束はEKよりも一貫して速く、CD+KおよびCD+EK+Kは初期段階の反復でCD単体とほぼ同等の性能を示した。
• CDがEKを上回る利点は、初期段階で顕著である。この段階ではEKの残差近似が不十分であり、カツマルツステップの品質が低下する。