[論文レビュー] Fourier-Domain Optimization for Image Processing

Majed El Helou, Frederike Dümbgen+2 more|arXiv (Cornell University)|Sep 11, 2018

Sparse and Compressive Sensing Techniques参考文献 7被引用数 8

ひとこと要約

この論文は、離散フーリエ変換を用いて閉形式解を導出することで、O(n)のメモリとO(n log n)の計算複雑性を達成する、凸画像復元および関連する画像処理問題を効率的に解くためのフーリエドメイン最適化フレームワークを提示する。この手法により、特にモバイルおよび低消費電力デバイスに有益な大規模画像に対する高速でスケーラブルな解法が可能になる。また、非凸または複雑な損失関数に対しても、半2次分割を用いて拡張される。

ABSTRACT

Image optimization problems encompass many applications such as spectral fusion, deblurring, deconvolution, dehazing, matting, reflection removal and image interpolation, among others. With current image sizes in the order of megabytes, it is extremely expensive to run conventional algorithms such as gradient descent, making them unfavorable especially when closed-form solutions can be derived and computed efficiently. This paper explains in detail the framework for solving convex image optimization and deconvolution in the Fourier domain. We begin by explaining the mathematical background and motivating why the presented setups can be transformed and solved very efficiently in the Fourier domain. We also show how to practically use these solutions, by providing the corresponding implementations. The explanations are aimed at a broad audience with minimal knowledge of convolution and image optimization. The eager reader can jump to Section 3 for a footprint of how to solve and implement a sample optimization function, and Section 5 for the more complex cases.

研究の動機と目的

• 特にメガピクセル画像において、勾配降下法の計算非効率性を解消すること。
• 畳み込みおよび最適化についての最小限の背景知識を持つ読者を想定し、画像処理におけるフーリエドメイン最適化の包括的で理解しやすい説明を提供すること。
• フーリエドメインにおける閉形式解を用いて、最小限の計算コストで高品質な画像修復（例：ぼかしの除去、はっきりさせ、マットイング）を実現すること。
• 半2次分割を用いて、非凸または複雑な損失関数に対してもフレームワークを拡張し、閉形式解と反復的手法を組み合わせること。
• 従来の勾配ベースの手法と比較して、時間およびメモリ要件を大幅に削減することで、低消費電力およびモバイルデバイスへのデプロイを容易にすること。

提案手法

• 離散フーリエ変換（DFT）を用いて、画像の畳み込みおよび復元問題をフーリエドメインに変換し、要素ごとの除算により閉形式解を可能にする。
• 畳み込み定理を用いて、空間ドメインにおける畳み込みをフーリエドメインにおける点乗算に変換し、二次損失関数の最適化を簡素化する。
• 周波数ドメインで解いた後、逆フーリエ変換を用いて解を実空間に戻すことで、数値的安定性と効率性を確保する。
• 非凸または複雑なコスト関数の場合、半2次分割を適用して問題を2つの部分問題に分離する：1つはフーリエドメインで閉形式で解けるもの、もう1つは勾配降下法で解けるもの。
• 増分βを用いた増分ペナルティ法を用いて、2つの部分問題を反復的に最小化し、最適解への収束を保証する。
• GitHub経由でのオープンソースのMATLABおよびPython実装を提供し、非盲目的復元や画像修復などの実画像処理タスクへの応用を実証する。

実験結果

リサーチクエスチョン

• RQ1 大規模画像、特にメガピクセル画像において、勾配降下法に依存せずに凸画像最適化問題を効率的に解く方法は何か？
• RQ2 フーリエドメインにおける画像復元の閉形式解を可能にする数学的原理は何か？
• RQ3 閉形式解が直接得られない非凸または複雑な損失関数に対しても、フーリエドメインアプローチをどのように拡張できるか？
• RQ4 従来の行列逆行列計算や反復的最適化と比較して、フーリエドメインを用いることで得られる計算およびメモリ上の利点は何か？
• RQ5 半2次分割のような変数分割技術を用いることで、より一般的な最適化設定においてもフーリエドメイン解法の効率性をどのように維持できるか？

主な発見

• フーリエドメインアプローチにより、計算複雑性がO(n²)からO(n log n)に、メモリ使用量がO(n²)からO(n)に削減され、大規模画像に対して非常に効率的である。
• 行列逆行列計算や勾配降下法と比較して、フーリエドメインにおける閉形式解は、特に数百万ピクセルの画像において顕著に高速かつメモリ効率が良い。
• 半2次分割フレームワークにおけるβ以外のハイパーパramータのチューニングが最小限で、高品質な画像修復（例：ぼかしの除去、はっきりさせ）が実現される。
• 半2次分割により、最適化問題全体に閉形式解がない場合でも、フーリエドメインで解ける部分と勾配降下法で解ける部分に分割することで、フーリエドメイン解法の使用が可能になる。
• 標準的な仮定の下でβを反復中に増加させることで、数値的に安定でロバストであり、収束が保証される。
• オープンソース実装は、実世界の応用およびスケーラビリティを実証しており、モバイルプラットフォームを含むリソース制限のあるデバイスへのデプロイを可能にしている。