[論文レビュー] An ADMM algorithm for solving a proximal bound-constrained quadratic program

Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|Dec 29, 2014

Sparse and Compressive Sensing Techniques参考文献 9被引用数 3

ひとこと要約

本稿では、特にヘシアン行列が複数の問題間で共有される場合に有用な、境界制約付き二次計画問題（QPs）を効率的に解くADMMに基づくアルゴリズムを提示する。行列のキャッシュ済みコレスキー分解を活用し、問題の構造を巧みに利用することで、各反復の更新コストを低く抑え、高速な収束を実現する。これにより、大規模なこのようなQPsの集合を高速に解くことが可能となり、例えば60,000個の32次元問題を1秒未塔で解ける。

ABSTRACT

We consider a proximal operator given by a quadratic function subject to bound constraints and give an optimization algorithm using the alternating direction method of multipliers (ADMM). The algorithm is particularly efficient to solve a collection of proximal operators that share the same quadratic form, or if the quadratic program is the relaxation of a binary quadratic problem.

研究の動機と目的

• 同じ対称正定値／半正定値行列Aを共有する一連の境界制約付き二次計画問題（QPs）を高速かつスケーラブルに解くアルゴリズムの開発を目的とする。
• 最適化におけるプロキシマル演算子の構造を活用することを目的とし、特にAが固定であるような緩和された部分問題がQPsの形を取るバイナリハッシングの文脈において有効であることを示す。
• A+ρIのコレスキー分解を反復および問題間で再利用することで、N個のこのようなQPsを効率的に解くことを目的とする。
• 収束が保証され、ラインサーチを必要とせず、各反復のコストが低いアルゴリズムを提供することを目的とし、高次元または大規模な設定に適したものとする。

提案手法

• アルゴリズムは、補助変数と双対変数を導入することで問題を共通形式に再定式化し、交替方向乗数法（ADMM）を用いてQPsを解く。
• x更新ステップでは、行列A+ρIを含む線形方程式系を解くが、これは事前にコレスキー分解され、反復および問題間で再利用可能である。
• z更新ステップでは、ボックス制約[l,u]への単純な射影を実装し、要素ごとのしきい値処理として行う：z = max(l, min(u, x + ζ))。
• 双対変数の更新はスケーリングされた形で実行され、ζ ← ζ + x - zとすることで、ラインサーチを必要とせず収束を保証する。
• 境界と行列Aが問題間で同一の場合、複数のQPsを同時に処理できるようにベクトル化され、MATLABにおける計算効率が向上する。
• 大規模またはスパースな問題に対しては、共役勾配法などの反復的解法を用いた不正確な解法をサポートし、ウォームスタートと前処理を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 同じヘシアン行列Aを共有するが、線形項と境界が異なる多数の境界制約付き二次計画問題を効率的に解く方法は何か？
• RQ2 特に強い凸項とボックス制約を含む目的関数において、最適化におけるプロキシマル演算子の構造を最も効果的に活用する方法は何か？
• RQ3 ADMMを、収束が保証され、各反復の計算コストが最小限に抑えられるように、このようなQPsを解くために適応可能か？
• RQ4 罰則パラメータρが収束速度に与える影響は何か？また、二次計画問題に対して最適なρの選定方法は何か？
• RQ5 特にバイナリハッシングのような応用で数千個のこのようなQPsを解く際、実用的な高性能を達成するにはどうすればよいか？

主な発見

• A+ρIのコレスキー分解をキャッシュすることで、アルゴリズムは各x更新のコストを密行列ではO(D²)、スパース行列では潜在的にO(D)にまで低減し、高い性能を達成する。
• 同じ密行列Aを共有する60,000個のQPs（D=32次元）の集合に対して、標準的なPCで約1秒で高い精度で全問題を解ける。
• 初期反復では収束が速やかに進むが、後半では遅くなる。これはADMMの典型的な特徴ではあるが、各反復のコストが低いことから、多数の反復を経て高精度な解を得られる。
• QPsがより大きな最適化スキームに埋め込まれている場合、以前の外側ループ反復からのウォームスタートを用いることで、収束速度が著しく向上する。
• 最適な罰則パラメータρは、Aの非ゼロ固有値の最小値σ_minと最大値σ_maxに基づき、ρ* = √(σ_min * σ_max)として推定できる。これは最近の理論的知見に基づく。
• アルゴリズムは頑健でスケーラブルである：密行列とスパース行列の両方をサポートし、各QPsを独立に解くことで、効果的な並列処理や分散処理が可能である。