[論文レビュー] An ADMM Algorithm for a Class of Total Variation Regularized Estimation Problems

Bo Wahlberg, Stephen Boyd+2 more|arXiv (Cornell University)|Mar 8, 2012

Statistical Methods and Inference参考文献 9被引用数 9

ひとこと要約

本稿では、全変動正則化を施した凸最適化問題のクラスを解くための効率的なADMMアルゴリズムを提案する。ブロック分離構造と交互最小化を活用することで、1000倍から10000倍の高速化を達成する。本手法は、並列化可能な更新とスパースな線形代数を活用し、ℓ₁平均および分散フィルタリングを高速化し、数値実験ではSDPT3のような汎用ソルバーよりも最大10,000倍速い。

ABSTRACT

We present an alternating augmented Lagrangian method for convex optimization problems where the cost function is the sum of two terms, one that is separable in the variable blocks, and a second that is separable in the difference between consecutive variable blocks. Examples of such problems include Fused Lasso estimation, total variation denoising, and multi-period portfolio optimization with transaction costs. In each iteration of our method, the first step involves separately optimizing over each variable block, which can be carried out in parallel. The second step is not separable in the variables, but can be carried out very efficiently. We apply the algorithm to segmentation of data based on changes inmean (l_1 mean filtering) or changes in variance (l_1 variance filtering). In a numerical example, we show that our implementation is around 10000 times faster compared with the generic optimization solver SDPT3.

研究の動機と目的

• 大規模な全変動正則化推定問題に対して、SDPT3のような汎用ソルバーよりも計算が非効率であるという問題に対処する。
• 分離可能な項と連続ブロック間の差分構造を持つ問題に特化した、スケーラブルで構造に配慮した最適化手法を開発する。
• 信号処理および統計分野における非定常データのセグメンテーションに適した、ℓ₁平均および分散フィルタリングの効率的解法を実現する。
• ADMMを用いて問題構造を活用し、各反復で並列化可能で低コストな更新を実現する。
• 実世界の数値例において、市販の凸最適化ツールと比較して顕著な性能向上を示す。

提案手法

• 全変動に類似した罰則項と、分離可能な項の和からなる目的関数を持つ凸最適化問題に、交替方向乗数法（ADMM）を適用する。
• 問題を2つの交互に解く部分問題に分解する：1つは各変数ブロックに対するproximal型の更新（並列で解ける）、もう1つは差分変数に関するグローバル更新。
• 全変動項を分離するために変数分割を用い、連続差分のための補助変数を導入することで、ブロック単位の最適化を可能にする。
• スパースで構造的なデータを活用し、しきい値処理、行列逆行列、線形方程式系の解法などの効率的演算を用いてADMM更新を実装する。
• 数値実験で収束を加速するために、過剰緩和（α = 1.8）を組み込む。
• 収束を安定的に検出するため、絶対誤差（ε_abs = 1e-4）と相対誤差（ε_rel = 1e-3）を用いたプリムアル・デュアル残差の停止基準を採用する。

実験結果

リサーチクエスチョン

• RQ1 全変動正則化問題のブロック分離可能で差分構造を持つ形式を、カスタムADMMアルゴリズムが活用することで、汎用ソルバーよりも著しく高速な収束を達成できるか？
• RQ2 ℓ₁平均および分散フィルタリングのような大規模な信号セグメンテーションタスクにおいて、本手法は実際のスケーリング特性を示すか？
• RQ3 ADMMフレームワーク内での変数ブロック更新の並列化が、計算をどの程度さらに高速化できるか？
• RQ4 罰則パラメータρの収束への影響は何か？また、形式的根拠なしにヒューリスティックな調整戦略が有効であるか？
• RQ5 実世界の推定問題において、本手法はCVX/SDPT3といった標準ツールと比較して、実行時間と解の精度の両面でどの程度優れているか？

主な発見

• 提案されたADMMベースのアルゴリズムは、N = 400の観測値を持つℓ₁平均フィルタリング問題を解く際、汎用のSDPT3ソルバーよりも10,000倍高速である。
• 本手法は2.2ミリ秒で同じ解を計算可能であり、CVXとSDPT3を用いた場合の20秒と比較して、極めて高い計算効率を示している。
• 独立した変数ブロックの更新を並列化することで、さらに性能向上が可能であり、4コアCPUでは最大4倍の高速化が見込まれる。
• 数値例におけるプリムアルおよびデュアル残差のプロットから、収束が信頼性高く、残差が単調に減少することが示されている。
• 解の品質は汎用ソルバーよりも劣らず、推定された平均軌道が真の区分的定数信号をよく追跡している。
• 経験的チューニングの結果、ρ ≈ λ に設定すると良好な収束特性が得られることが示唆されたが、形式的根拠は提示されていない。