[論文レビュー] Accelerated PDE's for efficient solution of regularized inversion problems

Minas Benyamin, Jeff Calder+2 more|arXiv (Cornell University)|Sep 30, 2018

Sparse and Compressive Sensing Techniques参考文献 22被引用数 4

ひとこと要約

この論文は、偏微分方程式（PDE）にモーメンタムベースの最適化を一般化する新しいフレームワーク「PDE Acceleration」を紹介している。従来の拡散型勾配降下法に代わり、非線形減衰波動方程式を用いることで、制限が厳しいΔt ∼ Δx²の制約ではなく、より有利なCFL条件Δt ∼ Δxを達成する。加速PDEを活用することで、既存のPDEコードへの最小限のアルゴリズム的変更で、ノイズ除去、ぼかし除去、穴埋めの分野において高速かつ安定した高品質な画像修復が可能になる。

ABSTRACT

We further develop a new framework, called PDE Acceleration, by applying it to calculus of variations problems defined for general functions on $\mathbb{R}^n$, obtaining efficient numerical algorithms to solve the resulting class of optimization problems based on simple discretizations of their corresponding accelerated PDE's. While the resulting family of PDE's and numerical schemes are quite general, we give special attention to their application for regularized inversion problems, with particular illustrative examples on some popular image processing applications. The method is a generalization of momentum, or accelerated, gradient descent to the PDE setting. For elliptic problems, the descent equations are a nonlinear damped wave equation, instead of a diffusion equation, and the acceleration is realized as an improvement in the CFL condition from $Δt\sim Δx^{2}$ (for diffusion) to $Δt\sim Δx$ (for wave equations). We work out several explicit as well as a semi-implicit numerical schemes, together with their necessary stability constraints, and include recursive update formulations which allow minimal-effort adaptation of existing gradient descent PDE codes into the accelerated PDE framework. We explore these schemes more carefully for a broad class of regularized inversion applications, with special attention to quadratic, Beltrami, and Total Variation regularization, where the accelerated PDE takes the form of a nonlinear wave equation. Experimental examples demonstrate the application of these schemes for image denoising, deblurring, and inpainting, including comparisons against Primal Dual, Split Bregman, and ADMM algorithms.

研究の動機と目的

• 従来の勾配降下法が変分画像処理において遅延する要因である、厳しい安定性制約（Δt ∼ Δx²）を解消すること。
• Nesterov や Polyak のようなモーメンタムベースの最適化手法を、変分問題における微分積分学的問題に一般化すること。
• Primal Dual や Split Bregman よりも高速でエッジを良好に保持する、効率的かつ安定した数値スキームを、加速PDEに基づいて開発すること。
• 既存の勾配降下PDEコードを、再帰的更新式を用いて最小限の手間で加速フレームワークに移行可能にする仕組みを提供すること。
• 非線形波動方程式に基づく単純な明示スキームを用いて、ノイズ除去、ぼかし除去、穴埋めの分野で最先端の性能を示すこと。

提案手法

• 最適化フローを2階非線形減衰波動方程式としてモデル化することで、加速勾配降下法をPDEに一般化する。拡散方程式ではなく、波動方程式を用いる。
• ラグランジュ力学に基づく変分フレームワークを用いて、Nesterov や Polyak のヘビーボール法のようなモーメンタム手法の連続極限として加速PDEを導出する。
• 明示的および半暗黙的有限差分スキームを用いて加速PDEを離散化し、エネルギー減衰および非線形減衰効果に基づいて安定性制約を導出する。
• 勾配には前進差分、発散には後退差分を用いることで、離散的随伴一貫性を確保し、数値的安定性に不可欠な要因とする。
• 再帰的更新式を実装することで、既存の勾配降下PDEコードを最小限の変更で加速PDEソルバーに変換可能にする。
• 勾配に特異性（例：|∇u| = 0）が生じる場合に数値的問題を避けるために、ゼロ補完を適用する。

実験結果

リサーチクエスチョン

• RQ1 離散最適化におけるモーメンタムベースの加速は、R^n 上の変分問題に適用される連続的PDE最適化フレームワークに一般化可能か？
• RQ2 画像処理応用における加速PDEと古典的拡散型PDEとの安定性および収束特性は、どのように比較されるか？
• RQ3 拡散方程式を非線形波動方程式に置き換えることで、CFL条件および数値的効率にどのような影響が生じるか？
• RQ4 加速PDE上の単純な明示スキームは、Primal Dual や Split Bregman ような高度なアルゴリズムと同等の性能を画像修復タスクで達成できるか？
• RQ5 時間刻み（Δt）の選択が、特にΔt ∼ Δxの条件下で、加速PDEスキームの安定性および収束に与える影響は何か？

主な発見

• PDE AccelerationはCFL条件Δt ∼ Δxを達成し、標準的な拡散型PDEのΔt ∼ Δx²の制約に比べて顕著な改善を示し、より大きな時間刻みと高速な収束を可能にする。
• TVノイズ除去において、PDE Accelerationは1.12秒のPrimal Dualと10.4秒のSplit Bregmanに比べ、0.85秒で高品質な解に到達し、エッジの保持が優れている。
• 大きな時間刻み（Δt ≤ Δx）に対してもL^∞安定性を維持し、発散を避けて安定な振動的定常状態に収束する。
• ノイズ除去およびぼかし除去の分野では、エネルギーレベルが同じ条件下で、Primal Dual よりもエッジをより鋭く保持する高品質な画像を生成する。
• 再帰的更新式により、既存の勾配降下PDEコードを最小限の修正で加速PDEソルバーに変換可能であり、迅速な展開が可能である。
• 実験結果から、PDE AccelerationはTVベースの修復において、Split Bregman や Primal Dual を上回る速度と画像品質を達成しており、エネルギー減衰曲線からより速い収束が確認されている。