[論文レビュー] Explorations on anisotropic regularisation of dynamic inverse problems by bilevel optimisation

Martin Benning, Carola‐Bibiane Schönlieb+2 more|arXiv (Cornell University)|Feb 3, 2016

Sparse and Compressive Sensing Techniques参考文献 20被引用数 3

ひとこと要約

本稿では、空間的および時間的全 Variation 正則化子の下界畳み込みを用いて、動的動画ノイズ除去のための最適な異方的正則化パラメータを学ぶ二段階最適化フレームワークを提案する。非凸的かつ非線形にパラメータ化された下位の逆問題を解くことで、動画コンテンツに適応し、PSNR が最大 46.87 dB、SSIM が 0.942 に達する。これは、最適な正則化がシーンの動きに強く依存しており、複雑な運動では κ ≈ 0.5、静止背景では κ ≈ 0 または 1 であることを示している。

ABSTRACT

We explore anisotropic regularisation methods in the spirit of [Holler & Kunisch, 14]. Based on ground truth data, we propose a bilevel optimisation strategy to compute the optimal regularisation parameters of such a model for the application of video denoising. The optimisation poses a challenge in itself, as the dependency on one of the regularisation parameters is non-linear such that the standard existence and convergence theory does not apply. Moreover, we analyse numerical results of the proposed parameter learning strategy based on three exemplary video sequences and discuss the impact of these results on the actual modelling of dynamic inverse problems.

研究の動機と目的

• 非線形的パラメータ依存性により標準理論が適用できない動的逆問題における正則化パラメータの最適選択という課題に取り組むこと。
• 動画ノイズ除去のための真値データを用いて、空間的・時間的正則化パラメータを学ぶ二段階最適化戦略を開発すること。
• 空間的および時間的正則化子の下界畳み込みが、階段状アーチファクトを低減するために学習によってどのように調整可能かを調査すること。
• 空間的および時間的成分への分解が、パラメータ学習の下で意味的かつ安定的であるかどうかを評価すること。
• 本手法の性能を、動的特性や背景安定性が異なる実動画シーケンスに対して評価すること。

提案手法

• 上位レベルが下位レベルの変分正則化問題の解に関するデータ適合誤差を最小化する二段階最適化問題を定式化する。
• 空間的および時間的全 Variation の下界畳み込み正則化子を用い、重み κ ∈ [0,1] により空間的および時間的適合性をバランスさせる。
• 下位問題を Tikhonov 型汎関数に適用する：min_u { ½||Ku−g||² + G(u;α) }、ここで G は空間的および時間的微分の TV 範数の下界畳み込みである。
• パラメータ α（κ を含む）が非凸的かつ非 Lipschitz 的に下位問題に組み込まれる非滑らかで非線形にパラメータ化された正則化モデルを採用し、標準的収束理論の適用が不可能である。
• 真値データを用いて上位レベルの損失関数を計算するため、数値的に二段階最適化問題を反復的最適化で解く。
• 再構成結果および成分分解に対してガンマ補正と視覚的分析を実施し、定性的な性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準理論が適用できない非線形依存性を示す動的逆問題において、二段階最適化は非線形に依存する正則化パラメータを効果的に学習できるか？
• RQ2 異なる動き特性を示す動画シーケンスにおいて、空間的および時間的正則化の最適バランス（κ）はどのように変化するか？
• RQ3 下界畳み込みモデルは、空間的および時間的成分への意味的な分解を可能にし、パラメータ学習の下でもその分解が安定か？
• RQ4 標準的な Tikhonov や TV 法と比較して、学習された正則化は階段状アーチファクトをどの程度低減できるか？
• RQ5 複雑な運動が存在する状況下で、PSNR や SSIM といった異なる誤差指標は、視覚的品質および最適パラメータ選択とどの程度相関するか？

主な発見

• 高運動を示す「flight」シーケンスでは、最適な κ は約 0.52 であり、空間的および時間的正則化がほぼ同等に寄与していることが示された。
• 主に動的コンテンツを含む「Harlem shake」シーケンスでは、最適な κ は 0.0265 であり、時間的正則化が強く支配的であり、PSNR 41.02 dB、SSIM 0.9604 を達成した。
• 「flight」シーケンスでは、最適な κ は 0.542 であり、PSNR 46.87 dB、SSIM 0.942 を達成し、複雑な運動に対して優れた性能を示した。
• 静止背景を含むシーケンスでは、空間的および時間的成分への分解が明確であり、κ ≈ 0 または 1 であり、一方の成分が支配的であることが示された。
• 元の κ が [0,1] の範囲外にあった場合でも、変換式 (4.5) を用いてパラメータを学習し、視覚的および定量的評価で一貫性のある結果を得られた。
• 本研究では、正則化モデルおよびパラメータ κ の選択が動画コンテンツに強く依存しており、モデル構造がシーンの動き特性と一致する場合にのみ最適な性能が達成されることを示した。