[論文レビュー] Approximate message-passing for convex optimization with non-separable penalties

Andre Manoel, Florent Krząkała+3 more|arXiv (Cornell University)|Sep 17, 2018

Optimization and Search Problems参考文献 5被引用数 9

ひとこと要約

本稿では、変数の線形変換に期待一致近似を適用することにより、全 variation (TV) などの非分離なペナルティを伴う凸問題に対する VAMP に基づく最適化アルゴリズムを提案する。本手法は、ベクトル近似メッセージパッシングの原則に従い、ステップサイズを適応的に設定することで、トモグラフィーおよび fMRI 分類タスクにおいて FISTA や ADMM よりも高速な収束を達成する。

ABSTRACT

We introduce an iterative optimization scheme for convex objectives consisting of a linear loss and a non-separable penalty, based on the expectation-consistent approximation and the vector approximate message-passing (VAMP) algorithm. Specifically, the penalties we approach are convex on a linear transformation of the variable to be determined, a notable example being total variation (TV). We describe the connection between message-passing algorithms -- typically used for approximate inference -- and proximal methods for optimization, and show that our scheme is, as VAMP, similar in nature to the Peaceman-Rachford splitting, with the important difference that stepsizes are set adaptively. Finally, we benchmark the performance of our VAMP-like iteration in problems where TV penalties are useful, namely classification in task fMRI and reconstruction in tomography, and show faster convergence than that of state-of-the-art approaches such as FISTA and ADMM in most settings.

研究の動機と目的

• 全 variation のような非分離ペナルティを伴う凸問題に対する高速で適応的な最適化手法の開発。
• 期待一致（EC）近似を変数 x ではなくその線形変換 z = Kx に再解釈することで、分離可能なペナルティを超えてベクトル近似メッセージパッシング（VAMP）アルゴリズムを拡張する。
• FISTA や ADMM が非分離設定において抱える限界、特に内側ループのプロキシマル評価とステップサイズ選択への感受性を是正する。
• fMRI 分類やトモグラフィック再構成といった実世界の問題において、提案手法の実用的有効性を示すこと。

提案手法

• 期待一致（EC）近似を変数 x ではなくその線形変換 z = Kx に対して定義することで、TV のような非分離ペナルティへの適用を可能にする。
• 変換された変数にガウス事前分布を仮定し、Kx に凸ペナルティを課した罰付き最小二乗問題として最適化問題を定式化する。
• 正規分布の標準形を用いて、変換された変数の平均と分散の固定点反復を導出し、適応的ステップサイズ選択を実現する。
• EC 自由エネルギーから更新則を導出し、オンサガー反応項と適応的分散推定を有する VAMP に類似したスキームを構築する。
• 高次元設定（n ≪ p）において効率を確保するため、Woodbury の公式と AAT の固有値分解を用い、計算コストを O(np) に削減する。
• TV ペナルティの場合、ラプラシアン作用素 KTK をフーリエ変換で対角化し、FFT を用いた高速計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 VAMP は、凸最適化における全 variation のような非分離ペナルティを扱えるように拡張可能か？
• RQ2 提案された EC に基づく VAMP 変種は、非分離正則化を伴う問題において、FISTA や ADMM よりも高速な収束を達成するか？
• RQ3 提案手法における適応的ステップサイズ選択は、従来のプロキシマルアルゴリズムにおける固定または手動チューニングされたステップサイズと比較してどのように異なるか？
• RQ4 内側ループのプロキシマル評価やステップサイズチューニングを必要とせずに、VAMP フレームワークを非分離ペナルティに拡張可能か？
• RQ5 fMRI 分類やトモグラフィック再構成といった実世界タスクにおける、本手法の経験的性能はいかがなものか？

主な発見

• 提案された VAMP に基づくアルゴリズムは、全 variation 正則化を伴う複数のベンチマーク問題において、FISTA や ADMM よりも高速な収束を達成する。
• fMRI 分類タスクにおいて、FISTA や ADMM と比較して、大幅に少ない反復回数で競争力ある精度を達成する。
• トモグラフィック再構成においては、収束が速く、特に低 SNR 環境下で再構成品質が向上する。
• 適応的ステップサイズ機構により、手動チューニングの必要がなく、非分離設定における FISTA の内側ループ計算ボトルネックを回避する。
• TV ペナルティに際して固有値分解と FFT を活用することで、大規模問題においても O(np) の複雑性を維持した効率的計算が可能になる。
• 経験的結果から、アルゴリズムがロバストでスケーラブルであり、すべてのテスト設定で最先端の手法と同等または優れた性能を示すことが確認された。