[論文レビュー] Inexact Coordinate Descent: Complexity and Preconditioning

Rachael Tappenden, Peter Richtárik+1 more|arXiv (Cornell University)|Apr 19, 2013

Sparse and Compressive Sensing Techniques参考文献 36被引用数 31

ひとこと要約

この論文は、各反復で部分問題の近似解を許容する凸最適化の不正確なブロック座標降下法を導入し、計算コストを削減しながら理論的収束保証を維持する。主な貢献は、不正確な更新が収束を損なわずに実行時間の顕著な短縮を可能にすることを示す複雑性解析であり、特にプリコンディショニングと反復解法を組み合わせた場合に顕著である。

ABSTRACT

In this paper we consider the problem of minimizing a convex function using a randomized block coordinate descent method. One of the key steps at each iteration of the algorithm is determining the update to a block of variables. Existing algorithms assume that in order to compute the update, a particular subproblem is solved exactly. In his work we relax this requirement, and allow for the subproblem to be solved inexactly, leading to an inexact block coordinate descent method. Our approach incorporates the best known results for exact updates as a special case. Moreover, these theoretical guarantees are complemented by practical considerations: the use of iterative techniques to determine the update as well as the use of preconditioning for further acceleration.

研究の動機と目的

• 部分問題の正確な更新を要求するのではなく、近似解を許容することでブロック座標降下法の計算コストを低減すること。
• 正確な更新に関する先行研究を拡張し、高い確率的保証下での不正確な手法の理論的反復複雑性上限を提供すること。
• 大規模問題における性能向上を図るため、反復解法やプリコンディショニングなどの実用的技術を統合すること。
• 数値実験を通じて、パラメータによって制御される不正確さの増加が収束速度や最終的な精度に影響を与えずに実行時間を短縮できることを示すこと。
• 不正確な手法が正確な手法と同等の収束行動を示すが、反復あたりのコストが低いため、特に二次型およびl1正則化最小二乗問題の設定で優れた性能を発揮すること。

提案手法

• 各ブロック更新を、正確にではなく所定の精度まで部分問題を解くことで不正確に計算する不正確な座標降下（ICD）アルゴリズムを提案する。
• 反復的部分問題解法（例：BCGPアルゴリズム）に、双対ギャップに基づく停止基準を用い、不正確さ条件（18）を満たすようにする。
• 信頼度ρと誤差許容値εの観点から、ICD手法の反復複雑性上限を導出する。不正確さパラメータαとβに依存する関係を示す。
• 収束を加速するためにプリコンディショニング技術を適用し、ヘッセ行列の構造を活用できる二次型の場合に特に有効である。
• 反復コストを低く保ちつつ理論的解析を可能にするために、一様確率でブロックをランダム選択する。
• 特に閉形式解が存在しないl1正則化最小二乗問題のような問題において、共役勾配法やその他の反復解法を用いて不正確な更新を効率的に計算する。

実験結果

リサーチクエスチョン

• RQ1 ブロック座標降下法における不正確な更新は、正確な更新と同等の収束保証を維持しながら計算コストを削減できるか？
• RQ2 高い確率的信頼度の下で、不正確な座標降下法の理論的反復複雑性はどのようになるか？
• RQ3 実際の応用において、不正確さの程度（βによって制御）が実行時間と収束行動にどのように影響を与えるか？
• RQ4 特に二次型またはスパース正則化問題の設定において、不正確さとプリコンディショニングを組み合わせることで顕著な性能向上が得られるか？
• RQ5 BCGPのような反復解法を用いて不正確な更新を効果的に計算できるか？また、収束のための必要な不正確さ条件を満たすことができるか？

主な発見

• 不正確な座標降下法は、正確な手法と同等の高い確率的反復複雑性上限を達成しており、不正確さパラメータαとβに明示的な依存関係がある。
• l1正則化最小二乗問題においては、βを小さくすることで不正確さを増加させることで実行時間が短縮され、反復回数や最終的な目的関数値に影響を及ぼさない。
• 数値実験では、固定されたブロック順序のもとで、βの値（10⁻⁴、10⁻⁶、10⁻⁸）にかかわらず収束に必要な反復回数が同一であることが確認され、不正確さが収束速度に悪影響を及ぼさないことが裏付けられた。
• 双対ギャップによる停止基準を用いた反復解法（例：BCGP）により、不正確さ条件が満たされることが保証され、実用的な実装が可能になった。
• プリコンディショニングは、特に二次型の場合に収束を顕著に加速し、不正確な更新と組み合わせることで高い効果を発揮した。
• 非強い凸（M < N）および強い凸（M > N）の両設定において、不正確な手法は収束を維持しながら反復あたりのコストを低減し、実用的な効率性の向上を示した。