[論文レビュー] Preconditioning via Diagonal Scaling

Reza Takapoui, Hamid Javadi|arXiv (Cornell University)|Oct 12, 2016

Sparse and Compressive Sensing Techniques参考文献 4被引用数 11

ひとこと要約

本稿では、ADMM や共役勾配法などの一次最適化手法における行列の条件数を低減するための対角スケーリング事前処理を提案する。行列の等衡化を凸最適化問題として定式化し、Sinkhorn-Knopp や Ruiz の反復アルゴリズムを用いることで、線形代数演算の高速化と反復回数の削減を実現。実験的結果では、最適化されたスケーリングにより反復回数が最大50％まで削減された。

ABSTRACT

Interior point methods solve small to medium sized problems to high accuracy in a reasonable amount of time. However, for larger problems as well as stochastic problems, one needs to use first-order methods such as stochastic gradient descent (SGD), the alternating direction method of multipliers (ADMM), and conjugate gradient (CG) in order to attain a modest accuracy in a reasonable number of iterations. In this report, we first discuss heuristics for diagonal scaling. Next, we motivate preconditioning by an example, and then we study preconditioning for a specific splitting form in ADMM called graph projection splitting. Finally we examine the performance of our methods by some numerical examples.

研究の動機と目的

• 入力行列の条件数を低減することで、ADMM や共役勾配法などの一次最適化手法の収束速度を向上させること。
• 行列の等衡化を用いた、実用的で計算的に効率的な対角スケーリング事前処理戦略を開発すること。
• ADMMに基づくソルバーにおける行列スケーリングおよびステップサイズパラメータが収束速度に与える影響を調査すること。
• 対角事前処理が反復ソルバーの加速に有効であることを理論的および実験的に裏付けること。

提案手法

• 行列の等衡化を凸最適化問題として定式化し、$DAE$ の条件数を最小化する。ここで $D$ および $E$ は対角スケーリング行列である。
• 長方形行列に対応した変更版の反復アルゴリズム（Sinkhorn-Knopp および Ruiz）を用い、$DAE$ の行および列が平衡された $\ell_p$ ノルムを持つように $D$ および $E$ を計算する。
• 共役勾配法および ADMM ソルバーに事前処理行列 $A' = DAE$ を適用し、$A'\tilde{x} = Db$ を解き、$x = E^{-1}\tilde{x}$ を回復する。
• $\beta/\alpha$（ステップサイズ $\rho$）および $\beta\alpha$（スケーリング）による適応的パrameterチューニングを導入し、最適性能のためのヒューリスティックとして $\|DAE\| = 1$ を用いる。
• 明示的な行列アクセスを回避するためのマトリクスフリー手法を採用し、大規模問題へのスケーラビリティを実現する。
• 固定許容誤差 $10^{-4}$ を用いた数値実験により、lasso 問題および線形計画問題における性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 行列の等衡化による対角スケーリングは、一次最適化における大規模行列の条件数を顕著に低減できるか？
• RQ2 Sinkhorn-Knopp および Ruiz の異なる等衡化アルゴリズムは、条件数の低減および収束の改善においてどのように比較されるか？
• RQ3 ADMM におけるスケーリングパラメータ $\beta\alpha$ およびステップサイズ $\rho = \beta/\alpha$ は収束速度にどのような影響を与えるか？
• RQ4 事前処理は線形代数の速度と反復回数の両方を向上させるのか、それとも片方のみか？
• RQ5 ヒューリスティック $\|DAE\| = 1$ は収束性と安定性のバランスをとるために効果的に使用できるか？

主な発見

• Sinkhorn-Knopp および Ruiz アルゴリズムによる行列の等衡化は、テストされたインスタンスにおいて $A$ の条件数を最大50％まで低減し、共役勾配法の実行を加速した。
• lasso 問題において、最適スケーリング（$\|DAE\| = 1$）と適応的 $\rho = \beta/\alpha$ の組み合わせにより、未事前処理の場合と比較して平均反復回数が約50％削減された。
• 線形計画問題では、事前処理により平均反復回数が最大40％削減され、相対的非最適性および制約違反が桁違いに改善された。
• ヒューリスティック $\|DAE\| = 1$ は、lasso 問題および LP 問題の両方で一貫して高速な収束をもたらし、任意のスケーリング選択を上回った。
• 追加計算を伴わず、因子分解やウォームスタートのオーバーヘッドを必要としない $\beta/\alpha$ による適応的ステップサイズチューニングが、収束を改善した。
• 理論的保証が欠如しているにもかかわらず、反復的等衡化手法は実験的に強く頑健な性能を示したが、稀に条件数がわずかに増加するケースも観察された。