[論文レビュー] On the linear convergence rates of exchange and continuous methods for total variation minimization

Axel Flinth, Frédéric de Gournay+1 more|arXiv (Cornell University)|Jun 24, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用数 32

ひとこと要約

本論文はラドン測度上の総変動正則化逆問題に対する交換アルゴリズムを解析し、正則性の下で最終的な線形収束を証明するとともに、質量と位置の連続最適化の線形収束を示し、両アプローチを組み合わせる交互法を提案する。

ABSTRACT

We analyze an exchange algorithm for the numerical solution total-variation regularized inverse problems over the space M($\\Omega$) of Radon measures on a subset $\\Omega$ of R d. Our main result states that under some regularity conditions, the method eventually converges linearly. Additionally, we prove that continuously optimizing the amplitudes of positions of the target measure will succeed at a linear rate with a good initialization. Finally, we propose to combine the two approaches into an alternating method and discuss the comparative advantages of this approach.

研究の動機と目的

• ラドン測度に対する無限次元の総変動最小化の反復アルゴリズムを動機づけ、解析する。
• 正則性仮定の下で、交換アルゴリズムを含む収束速度を確立する。最終的な線形収束を含む。
• ディラック質量の振幅と位置の勾配法ベースの連続最適化について線形収束を示す。
• 両アプローチの長所を組み合わせた交互の交換-連続戦略を提案し、議論する。
• 結果を1次元および2次元の総変動問題で示す。

提案手法

• 無限次元の問題を inf_{μ∈M(Ω)} ||μ||_M + f(Aμ) として定式化する。A: M(Ω) → R^m かつ f は凸関数。
• Ωを格子 Ω_k で離散化し、Ω_{k+1} = Ω_k ∪ X_kと更新する。X_k は|A^* q_k|が1を超える局所最大点からなる。
• 原問題と対になる双対問題の強い対偶性を利用し、μ^*, q^* を A^* q^* ∈ ∂||μ^*||_M および -q^* ∈ ∂ f(A μ^*) によって結びつける。
• 一般的な収束結果を提示する：f の勾配がリプシッツ連続であるなどの微分可能性の仮定の下で、ある部分列が原理対解へ収束し、唯一性が成り立てば全列が収束する。
• 源条件の非退化性を扱う仮定5–6を導入し、双對証明が非退化である場合には交換スキームの線形収束率を導出する。
• 離散化距離と双対変数および目的関数ギャップを結ぶ付随的界と補助補題を提示する。

実験結果

リサーチクエスチョン

• RQ1 ラドン測度上の総変動最小化の交換アルゴリズムは無限次元問題の解へ収束するか？
• RQ2 非退化双対証明の下で交換アルゴリズムは線形収束を達成し、離散化距離は収束にどう影響するか？
• RQ3 ディラック質量の位置と振幅の勾配法による連続最適化は真のまばらな測度へ線形収束するか？
• RQ4 交換と連続を交互に行う方法は収束保証を継承し、実務的な効率を得られるか？
• RQ5 信号処理の文脈で1Dおよび2Dの総変動正則化問題へ結果はどのように拡張されるか？

主な発見

• 交換アルゴリズムは緩和的な仮定の下で primal-dual 解へ部分列収束する。目的関数値も収束する。
• 双対証明が非退化な源条件の下、X_k の活性サポート点集合は有限回の反復後に s 点へ安定し、代償は線形に収束する。
• (α, x) の組に対する勾配降下法の初期化が良好であれば μ^* へ線形収束し、明示的な引力域が記述される。
• 交換ステップと連続最適化の交互は、グローバル収束保証と一階法の効率性を組み合わせられる。
• 1Dおよび2Dの総変動最小化に対する結果を、2乗忠実度項を強調して示す。
• 解析は対偶問題を介した半無限計画問題へと結びつき、双対証明が収束挙動を支配することを示す。