[論文レビュー] Metric Selection in Douglas-Rachford Splitting and ADMM

Pontus Giselsson, Stephen Boyd|arXiv (Cornell University)|Oct 30, 2014

Sparse and Compressive Sensing Techniques参考文献 55被引用数 15

ひとこと要約

本稿は、強い凸性および滑らかさの下で、Douglas-RachfordスプリットリングおよびADMMの線形収束速度の上限を確立し、その上限がメトリックの選択に依存し、メトリック選択によって最適化可能であることを示している。さらに、滑らかでないか、強く凸でない問題に対しては、性能を著しく向上させるヒューリスティックなメトリックおよびパラメータ選択戦略を提案しており、モデル予測制御の例では10倍以上の高速化が実証されている。

ABSTRACT

Recently, several convergence rate results for Douglas-Rachford splitting and the alternating direction method of multipliers (ADMM) have been presented in the literature. In this paper, we show linear convergence rate bounds for Douglas-Rachford splitting under strong convexity and smoothness assumptions. We show that these bounds generalize and/or improve on similar bounds in the literature and that the bounds are tight for the class of problems under consideration. For finite dimensional Euclidean problems, we show how the rate bounds depend on the metric that is used in the algorithm. We also show how to select this metric to optimize the bound. Many real-world problems do not satisfy both the smoothness and strongly convexity assumptions. Therefore, we also propose heuristic metric and parameter selection methods to improve the performance of a wider class of problems. The efficiency of the proposed heuristics is confirmed in a numerical example on a model predictive control problem, where improvements of more than one order of magnitude are observed.

研究の動機と目的

• 強い凸性および滑らかさの仮定の下で、Douglas-RachfordスプリットリングおよびADMMのタイトな線形収束速度の上限を確立すること。
• 有限次元ユークリッド空間におけるメトリックの選択が収束速度にどのように影響するかを分析すること。
• 収束速度の上限を最小化する最適なメトリックの選択方法を開発すること。
• 滑らかでないか、強く凸でない問題に一般化するため、ヒューリスティックなメトリックおよびパrameter選択戦略を提案すること。
• モデル予測制御問題における数値実験を通じて、提案されたヒューリスティクスの有効性を検証すること。

提案手法

• 強い凸性および滑らかさの下で、Douglas-RachfordスプリットリングおよびADMMの線形収束速度の上限を導出し、その上限をアルゴリズムのメトリックで表現すること。
• 有限次元ユークリッド空間における収束速度がメトリックの選択にどのように依存するかを分析すること。
• 導出された収束速度の上限を最小化するための最適化手順を導出すること。
• 滑らかでないか、強く凸でない問題に適用可能なヒューリスティックなメトリックおよびパラメータ選択手法を提案すること。
• モデル予測制御問題における数値実験を通じて、提案されたヒューリスティクスの性能を評価すること。
• 実際の応用において、収束速度の上限をもとにメトリックおよびアルゴリズムパラメータをチューニングすること。

実験結果

リサーチクエスチョン

• RQ1 強い凸性および滑らかさの下で、Douglas-RachfordスプリットリングおよびADMMにおけるメトリックの選択が線形収束速度にどのように影響するか？
• RQ2 収束速度の上限をメトリックの最適化によって最小化可能か？その場合の最適なメトリックは何か？
• RQ3 滑らかでないか、強く凸でない問題に対して、メトリックおよびパラメータ選択をどのように適応させるか？
• RQ4 提案されたヒューリスティックな選択法を用いることで、実際の性能にどの程度の向上が得られるか？
• RQ5 理論的な収束速度の上限は、実世界の応用における実効的性能向上とどの程度整合するか？

主な発見

• 導出された線形収束速度の上限は、文献に既存のものよりもタイトであり、一般化または改善されている。
• 収束速度の上限は明示的にメトリックの選択に依存しており、その最適化により上限が顕著に低減される。
• 提案されたヒューリスティックなメトリックおよびパラメータ選択法により、モデル予測制御の例ではアルゴリズムの性能が10倍以上向上した。
• 強い凸性および滑らかさの仮定の下では、理論的な収束速度の上限が問題のクラスに対してタイトであることが確認された。
• 理論的仮定が満たされない状況でも、ヒューリスティック手法が実用的に有効であることが示された。
• 数値結果から、実世界の問題においてメトリック選択が収束の加速に重要な役割を果たすことが確認された。