[論文レビュー] Parameter Selection and Pre-Conditioning for a Graph Form Solver

Christopher Fougner, Stephen Boyd|arXiv (Cornell University)|Mar 28, 2015

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本論文では、グラフ形式ADMMソルバにおけるパラメータ選択および対角前処理技術の向上を提案し、収束性とロバスト性を著しく向上させた。その結果得られたPOGSソフトウェアは、大規模問題において高い性能を発揮し、1億係数の放射線治療計画問題を数秒で解ける一方、内点法では約1時間かかっていた。

ABSTRACT

In a recent paper, Parikh and Boyd describe a method for solving a convex optimization problem, where each iteration involves evaluating a proximal operator and projection onto a subspace. In this paper we address the critical practical issues of how to select the proximal parameter in each iteration, and how to scale the original problem variables, so as the achieve reliable practical performance. The resulting method has been implemented as an open-source software package called POGS (Proximal Graph Solver), that targets multi-core and GPU-based systems, and has been tested on a wide variety of practical problems. Numerical results show that POGS can solve very large problems (with, say, more than a billion coefficients in the data), to modest accuracy in a few tens of seconds. As just one example, a radiation treatment planning problem with around 100 million coefficients in the data can be solved in a few seconds, as compared to around one hour with an interior-point method.

研究の動機と目的

• グラフ形式ADMMソルバにおける実用的課題、特にパrameter選択と変数スケーリングの問題を解決し、信頼性の高い性能を確保すること。
• 新規のパrameter選択および前処理戦略を用いて、ADMMに基づくグラフ形式ソルバの収束ロバスト性と効率性を向上させること。
• 大規模凸最適化問題を対象とし、マルチコアおよびGPUアーキテクチャに最適化された高パフォーマンスでオープンソースのソルバ（POGS）を開発すること。
• 特に放射線治療計画などの実世界の応用において、従来の内点法と比較して顕著な高速化を実証すること。

提案手法

• グラフ制約へのプロキシマルオペレータおよび射影を含む、グラフ形式凸最適化問題を解くADMMベースのアルゴリズムを採用する。
• 収束速度の向上を目的に、線探索またはヒューリスティックな適応法を用いた、プロキシマルパrameter ρの動的選択を導入する。
• 変数のスケーリングと問題の条件数の改善を目的に、対角前処理を適用し、数値的安定性と収束性を向上させる。
• 信頼性の高い収束検出を実現するため、プライマルおよび双対残差に基づいた修正された停止基準を実装する。
• マルチコアおよびGPU実行に最適化されたカーネルを備えたC++/CUDAベースのオープンソースソルバとしてPOGSを設計する。
• 反復処理中に収束速度とロバスト性のバランスを保つために、問題固有のヒューリスティクスを用いて初期パラメータ値を設定し、それらを動的に適応させる。

実験結果

リサーチクエスチョン

• RQ1 グラフ形式ADMMにおけるプロキシマルパラメータρは、どのように動的に選択することで収束速度とロバスト性を向上させられるか？
• RQ2 どのような前処理戦略が、悪条件な問題におけるグラフ形式ADMMの収束行動を著しく改善するか？
• RQ3 大規模凸最適化問題向けの汎用ソルバは、内点法と同等またはそれ以上の実用的性能を達成できるか？
• RQ4 対角前処理は、ADMMに基づくグラフ形式ソルバの収束速度および数値的安定性にどのように影響するか？
• RQ5 GPUアクセラレーションとアルゴリズム的改善を組み合わせることで、内点法が処理可能な範囲をはるかに超える規模の問題を解くことがどの程度可能になるか？

主な発見

• POGSは、約1億係数の放射線治療計画問題を数秒で解ける一方、内点法では約1時間かかっていた。
• 内点法が処理可能な問題において、POGSは最大100倍の高速化を達成した。
• POGSは、データ行列Aに10億係数を超える問題を信頼性を持って解けることを示し、内点法の限界を超えたスケーラビリティを実証した。
• 動的パラメータ選択と対角前処理の組み合わせにより、多様な問題ファミリーにおいて収束のロバスト性が著しく向上し、反復回数も削減された。
• ロジスティック回帰、線形計画法、非負の最小二乗法、ポートフォリオ最適化、サポートベクターマシンの数値実験により、一貫した性能向上が確認された。
• 高条件数や不適切にスケーリングされた変数を含む多様な問題インスタンスに対しても、アルゴリズムの性能は安定的かつ予測可能であった。