[論文レビュー] Real-time Image Smoothing via Iterative Least Squares

Wei Liu, Pingping Zhang+4 more|arXiv (Cornell University)|Mar 17, 2020

Image Enhancement Techniques参考文献 42被引用数 6

ひとこと要約

本稿では、リアルタイムでのエッジ保持型画像平滑化のための新規グローバル最適化手法である反復最小二乗法（ILS）を提案する。点単位の操作と高速フーリエ変換（FFT）を繰り返し適用することで、計算効率を高めつつ最先端の平滑化品質を達成し、GTX 1080 GPU上で1080pカラー画像を20fpsで処理可能であり、目立つアーティファクトを最小限に抑え、GPUアクセラレーションや多様な平滑化タスクへの柔軟な適合性を実現する。

ABSTRACT

Edge-preserving image smoothing is a fundamental procedure for many computer vision and graphic applications. There is a tradeoff between the smoothing quality and the processing speed: the high smoothing quality usually requires a high computational cost which leads to the low processing speed. In this paper, we propose a new global optimization based method, named iterative least squares (ILS), for efficient edge-preserving image smoothing. Our approach can produce high-quality results but at a much lower computational cost. Comprehensive experiments demonstrate that the propose method can produce results with little visible artifacts. Moreover, the computation of ILS can be highly parallel, which can be easily accelerated through either multi-thread computing or the GPU hardware. With the acceleration of a GTX 1080 GPU, it is able to process images of 1080p resolution ($1920 imes1080$) at the rate of 20fps for color images and 47fps for gray images. In addition, the ILS is flexible and can be modified to handle more applications that require different smoothing properties. Experimental results of several applications show the effectiveness and efficiency of the proposed method. The code is available at \url{https://github.com/wliusjtu/Real-time-Image-Smoothing-via-Iterative-Least-Squares}

研究の動機と目的

• エッジ保持型画像平滑化における、高品質な平滑化と低コストな計算の両立を解決すること。
• 最先端の平滑化品質を達成または上回りつつ、処理時間を著しく短縮するグローバル最適化ベースの手法を開発すること。
• マルチスレービングやGPUアクセラレーションに適した、高度に並列化可能な計算を設計すること。
• HDRトーンマッピング、テクスチャ平滑化、圧縮アーティファクト除去など、多様な応用分野への柔軟性を示すこと。
• L0ノルムや全変動平滑化といった従来のグローバル最適化手法に代わる、計算的に効率的な代替手法を提供すること。

提案手法

• 本手法は加法的ハイフイーチェス最小化に基づいて導出され、平滑化問題を反復的最適化フレームワークに再定式化する。
• 各反復では、主に2段階の処理を行う：ペナルティ関数（例：Welsch や Huber）を用いた点単位の操作、および周波数領域での線形方程式を解くために高速フーリエ変換（FFT）と逆変換（IFFT）を適用する。
• アルゴリズムは、空間領域における画像推定の更新と、周波数領域における正則化最小二乗問題の解法を交互に繰り返す。
• FFT/理想的なFFTの使用により、グローバル正則化項の計算が効率的に行えるようになり、並列処理に非常に適している。
• ペナルティ関数や正則化パラメータを変更することで、異なる平滑化特性に柔軟に適合できる。
• 小まめな反復（例：10～15回）を繰り返すことで、高品質な平滑化画像に収束する。

実験結果

リサーチクエスチョン

• RQ1 グローバル最適化ベースの手法が、高品質な平滑化とリアルタイム性能の両立を達成できるか？
• RQ2 グローバル最適化手法の計算複雑性を、エッジ保持性を損なわず低減できるか？
• RQ3 GPU やマルチコア処理に効率的に並列化できるか？
• RQ4 L0ノルム平滑化やバイラテラルフィルタリングといった最先端手法と比較して、ILSはアーティファクト抑制性と速度面で優れているか？
• RQ5 テクスチャ平滑化や圧縮アーティファクト除去など、異なる平滑化特性を要する他の応用分野へも拡張可能か？

主な発見

• GTX 1080 GPU上で1080pカラー画像を20fps、グレースケール画像を47fpsで処理でき、リアルタイム性能を実証した。
• 目立つアーティファクトが最小限で、JPEG圧縮アーティファクト除去においてL0ノルム平滑化やFCNベース手法を上回るアーティファクト抑制性能を示した。
• テクスチャ平滑化において、相対的全変動（RTV）よりも表面の照度表現をより良く保持し、ローリングガイドフィルターやバイラテラルテクスチャフィルタリングよりも構造保持性に優れた。
• テクスチャ平滑化タスクにおいて、バイラテラルテクスチャフィルタリング（BTF）の約6倍、RTVの10倍、FCNベース手法の2倍の速度を達成した。
• 圧縮アーティファクト除去において、L0ノルム平滑化の約2倍、FCNベース手法の約3倍の速度を発揮しながら、優れた視覚的結果を生成した。
• PSNRおよびSSIMを用いた定量的評価では、異なるJPEG品質レベルにおいて、ILSは競合手法を常に上回るか同等の性能を示した。