[論文レビュー] An Optimal Control Approach to Early Stopping Variational Methods for Image Restoration

Alexander Effland, Erich Kobler+2 more|arXiv (Cornell University)|Jul 19, 2019

Sparse and Compressive Sensing Techniques参考文献 36被引用数 4

ひとこと要約

本稿では、変分的画像修復における勾配フローの停止時刻を最適制御フレームワークで学習し、画像品質の向上を図る。データ駆動型のコスト関数を用いた最適制御問題として定式化することで、ノイズ除去およびぼかし除去において標準的な変分的手法を上回る優れた結果が得られ、非線形スペクトル解析により解釈可能な正則化特性が明らかになった。

ABSTRACT

We investigate a well-known phenomenon of variational approaches in image processing, where typically the best image quality is achieved when the gradient flow process is stopped before converging to a stationary point. This paradox originates from a tradeoff between optimization and modelling errors of the underlying variational model and holds true even if deep learning methods are used to learn highly expressive regularizers from data. In this paper, we take advantage of this paradox and introduce an optimal stopping time into the gradient flow process, which in turn is learned from data by means of an optimal control approach. As a result, we obtain highly efficient numerical schemes that achieve competitive results for image denoising and image deblurring. A nonlinear spectral analysis of the gradient of the learned regularizer gives enlightening insights about the different regularization properties.

研究の動機と目的

• 変分的手法において収束まで実行すると期待されるが、最高の画像修復品質が収束前で達成されることというパラドックスに対処すること。
• 収束前停止を、ヒューリスティックな選択ではなく、勾配フロー枠組み内での学習可能な制御パラメータとして形式化すること。
• 再構成誤差を最小化するために、停止時刻 T と正則化パrameter を同時に最適化するデータ駆動型最適制御問題を構築すること。
• 勾配の Field of Experts 形式正則化子の非線形スペクトル解析を通じて、学習された正則化子の解釈可能性を高めること。
• 古典的な変分的原理が長時間の反復によりより良い解を得ると期待するのに対し、最適停止時刻が常に有限であるという事実が、その仮定と矛盾することを示すこと。

提案手法

• 状態方程式に従う勾配フローとして画像修復問題を定式化し、エネルギー関数をデータ適合項と、学習可能なカーネルおよび活性化関数を有する Field of Experts 形式正則化子の組み合わせとする。
• コスト関数を、時刻 T におけるフロー軌道と真値画像との距離を測るものとして定義し、停止時刻 T を最適制御問題における制御変数として導入する。
• 明示的エイラー法およびヘウン法を用いて勾配フローを離散化し、固定された正則化子を時間的に保つ静的変分ネットワークアーキテクチャを構築する。これは、固定された正則化子を持つ深層学習モデルのサブクラスである。
• ラグランジュ法を用いて一次の最適性条件を導出し、最適停止時刻 T の自動計算を可能にする。
• 一般化固有ペアの計算により、学習された正則化子の勾配に対する非線形スペクトル解析を実施し、局所的な正則化行動を分析する。
• ステップサイズ制御を伴う加速勾配降下法を用い、127×127 のサイズの Nv = 64 個の一般化固有ペアを計算する。初期化には平均を差し引いた画像パッチを用い、境界付近は平滑化する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型最適制御を用いることで、変分的画像修復における勾配フローの最適停止時刻をヒューリスティックに設定するのではなく、学習可能にできるか？
• RQ2 停止時刻を学習することで、収束まで実行する標準的な変分的手法に比べ、画像品質が向上するか？
• RQ3 学習された正則化子の固有の正則化特性は何か？ また、異なる画像構造においてどのように変化するか？
• RQ4 最適停止時刻が、T を大きくとれる最適化問題においても常に有限であるのはなぜか？ これは古典的な変分的原理とどのように矛盾するか？
• RQ5 学習された正則化子の勾配に対する非線形スペクトル解析は、画像の異なる特徴におけるその局所的行動をどのように解明するか？

主な発見

• 学習モデルにおいて最適停止時刻 T は常に有限であることが示され、これは収束前停止がヒューリスティックではなく、最適解の本質的性質であることを示している。
• 提案手法はノイズ除去およびぼかし除去において、収束まで実行する標準的な変分的手法に比べ、競争力のある画像修復結果を達成し、PSNR 値が向上した。
• 非線形スペクトル解析により、小さな固有値を持つ固有関数は明確な境界を持つコマツキ的構造を表し、大きな固有値を持つ固有関数はテクスチャおよびノイズに対応することが明らかになった。
• ノイズ除去において、コントラスト係数 (1 - λjT/S) は 0.368 から 0.999 の範囲にあり、正則化子が高周波数ノイズのコントラストを低下させつつ、構造的特徴を保持していることが示された。
• ぼかし除去において、固有値は小さくゼロを中心に分布し、コントラスト係数は [0.992, 1.030] の範囲にあり、正則化子がコントラストを低下・増大させることができ、画像境界付近では鋭さを高める傾向があることが示された。
• スペクトル解析による固有関数およびコントラスト係数の分析により、学習された正則化子が中〜低周波数構造を強く保持し、高周波数ノイズを抑制する傾向にあることが確認された。