[論文レビュー] Accelerating ADMM for Efficient Simulation and Optimization

Juyong Zhang, Yue Peng+2 more|arXiv (Cornell University)|Sep 1, 2019

Sparse and Compressive Sensing Techniques参考文献 2被引用数 6

ひとこと要約

本稿では、コンピューターグラフィックス分野における滑らかでない・凸でない最適化問題に対して、ADMM（交替方向一般乗数法）の収束速度を著しく向上させるため、アンドリューセン加速を提案する。ADMMを固定点反復として解釈し、特に分離可能な問題に最適化されたアンドリューセン加速を適用することで、反復回数と計算時間を削減するとともに、グラフィックス応用で一般的に見られる非凸構造について収束性を保証する。

ABSTRACT

The alternating direction method of multipliers (ADMM) is a popular approach for solving optimization problems that are potentially non-smooth and with hard constraints. It has been applied to various computer graphics applications, including physical simulation, geometry processing, and image processing. However, ADMM can take a long time to converge to a solution of high accuracy. Moreover, many computer graphics tasks involve non-convex optimization, and there is often no convergence guarantee for ADMM on such problems since it was originally designed for convex optimization. In this paper, we propose a method to speed up ADMM using Anderson acceleration, an established technique for accelerating fixed-point iterations. We show that in the general case, ADMM is a fixed-point iteration of the second primal variable and the dual variable, and Anderson acceleration can be directly applied. Additionally, when the problem has a separable target function and satisfies certain conditions, ADMM becomes a fixed-point iteration of only one variable, which further reduces the computational overhead of Anderson acceleration. Moreover, we analyze a particular non-convex problem structure that is common in computer graphics, and prove the convergence of ADMM on such problems under mild assumptions. We apply our acceleration technique on a variety of optimization problems in computer graphics, with notable improvement on their convergence speed.

研究の動機と目的

• コンピューターグラフィックスで一般的な高精度なシナリオにおいてADMMの収束が遅い問題を解決する。
• グラフィックス応用で広く見られる非凸問題においてADMMに収束保証がないという課題を克服する。
• リアルタイムまたはインタラクティブなグラフィックスワークロードに実用的であるよう、加速手法の計算オーバーヘッドを低減する。
• 問題固有のチューニングを必要とせず、多様なグラフィックス応用に汎用的に適用可能な加速手法を提供する。
• グラフィックスで広く見られる非凸問題構造に対して理論的収束性を確立し、ADMMの信頼性を向上させる。

提案手法

• 一般の場合において、ADMMを第二プライマル変数と双対変数に関する固定点反復に再定式化する。
• 固定点反復に直接的にアンドリューセン加速を適用し、収束を加速する。
• 目的関数が分離可能で特定の構造的条件を満たす問題において、固定点反復を1変数に簡略化し、加速の計算コストを最小限に抑える。
• 加速された反復を受容するかどうかを決定するための残差ベースの基準を導入し、安定性と収束特性を向上させる。
• 一般的なグラフィックス問題の構造を活用してアンドリューセン加速の適用を最適化し、1反復あたりのオーバーヘッドを削減する。
• 通常、混合パrameter β = 1 を採用するが、最適な β 選択は未解決の問題であり、今後の研究課題として残す。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化問題において、グラフィックス分野で一般的に見られるADMM反復にアンドリューセン加速を効果的に適用できるか？
• RQ2 目的関数が分離可能な問題において、ADMMにアンドリューセン加速を適用した際の計算コストをどのように最小化できるか？
• RQ3 グラフィックス分野の非凸問題においてADMMが収束する条件は何か？ そして、その条件を形式的に証明できるか？
• RQ4 実際のグラフィックス応用において、アンドリューセン加速は反復回数と総合的な計算時間をどの程度削減できるか？
• RQ5 ADMMの1反復コストが非常に低い場合（例：ベクトル場統合）、アンドリューセン加速の限界は何か？

主な発見

• アンドリューセン加速により、物理学シミュレーション、ジオメトリ処理、画像処理など、複数のグラフィックス応用においてADMMの収束に必要な反復回数が削減された。
• 標準的なADMMと比較して、組み合わせ残差の低下が著しく速く、同じ計算時間内に硬い制約をよりよく満たすことが図1で示された。
• 目的関数が分離可能な問題では、アンドリューセン加速の計算オーバーヘッドが顕著に低減され、より効果的かつ実用的であることがわかった。
• 本稿では、グラフィックス分野で広く見られる非凸問題構造について、弱い仮定のもとでADMMの収束性を証明し、理論的基盤を拡張した。
• ADMMの反復が極めて安価な場合（例：ベクトル場統合）、アンドリューセン加速のオーバーヘッドがその利点を上回り、反復回数が減っても総合的な計算時間が増加する場合がある。
• 一部のケースでは、特殊化された加速手法を上回り、GMRESに基づく加速と同等の性能を達成しながらも、汎用的である点で優位性を示した。