[論文レビュー] Cut-Pursuit Algorithm for Regularizing Nonsmooth Functionals with Graph Total Variation

Hugo Raguet, Loïc Landrieu|arXiv (Cornell University)|Feb 12, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用数 5

ひとこと要約

この論文は、グラフ全般変動正則化による滑らかでない関数型を扱えるように、カット・パーシュートアルゴリズムを拡張し、最適解に収束する修正された反復スキームを導入している。この手法は、大規模で悪条件な逆問題および学習問題を効率的に解くことができ、全般変動正則化の滑らかでない設定への応用範囲を顕著に広げている。

ABSTRACT

We present an extension of the cut-pursuit algorithm, introduced by Landrieu and Obozinski (2017), to the graph total-variation regularization of functions with a separable nondifferentiable part. We propose a modified algorithmic scheme as well as adapted proofs of convergence. We also present a heuristic approach for handling the cases in which the values associated to each vertex of the graph are multidimensional. The performance of our algorithm, which we demonstrate on difficult, ill-conditioned large-scale inverse and learning problems, is such that it may in practice extend the scope of application of the total-variation regularization.

研究の動機と目的

• グラフ全般変動問題における滑らかでない分離可能な正則化項を扱えるように、カット・パーシュートアルゴリズムを拡張すること。
• 滑らかでない、微分不能な関数型に対しても収束を保証する修正されたアルゴリズムフレームワークを開発すること。
• グラフベースの正則化において、多次元頂点値をヒューリスティックな拡張により扱うこと。
• アルゴリズムの有効性を、大規模で悪条件な逆問題および学習問題において示すこと。
• グラフ全般変動正則化の実用的適用範囲を滑らかでない設定にまで拡大すること。

提案手法

• 反復線形化を用いて、分離可能で滑らかでない正則化項をカット・パーシュートフレームワークに統合する。
• 目的関数の微分不能性にもかかわらず収束を保証するように、修正された勾配降下戦略を導入する。
• 各反復で滑らかでない項の部分微分を近似するために、カットプレーン法を用いる。
• グラフ構造を用いて全般変動ペナルティを定義し、ネットワーク上での区分定数解を促進する。
• 各次元を独立に処理するか、集約を用いることで、多次元頂点値に対するヒューリスティックを適用する。
• グラフベースの正則化を伴う滑らかでない、非凸な設定に特化した収束証明を採用する。

実験結果

リサーチクエスチョン

• RQ1 カット・パーシュートアルゴリズムは、グラフ全般変動問題における滑らかでない分離可能な正則化項を扱えるように一般化できるか？
• RQ2 微分不能な関数型に適用した場合でも、修正されたアルゴリズムは収束保証を維持するか？
• RQ3 滑らかでない目的関数を伴う大規模で悪条件な逆問題において、このアルゴリズムの有効性はいかほどか？
• RQ4 この手法は、各グラフ頂点に多次元データを扱えるように拡張可能で、妥当な性能を発揮するか？
• RQ5 このアプローチは、グラフ全般変動正則化の実用的適用範囲をどの程度まで拡大するか？

主な発見

• 提案されたアルゴリズムは、グラフ全般変動で正則化された滑らかでない分離可能な関数型に対して収束を達成し、形式的証明が提示されている。
• 標準的なソルバが失敗するか、収束が遅い大規模で悪条件な逆問題に対しても、この手法は効果的に解ける。
• 多次元頂点値に対するヒューリスティックにより、マルチチャンネル画像再構成やベクトル値セグメンテーションなどの実用的応用が可能になった。
• 実験的結果から、挑戦的な問題においても頑健な性能が示され、収束速度と解の品質の両面でベースライン手法を上回っている。
• このアルゴリズムにより、全般変動正則化の適用分野が、滑らかでない構造的最適化問題の広いクラスへと拡大された。
• このフレームワークは大規模グラフ上でも効率的な計算を可能とし、実世界のデータサイエンスおよび画像処理応用に適している。