[論文レビュー] Zero-order Reverse Filtering

Xin Tao, Chao Zhou+3 more|arXiv (Cornell University)|Apr 13, 2017

Image and Signal Denoising Methods参考文献 22被引用数 4

ひとこと要約

本稿では、未知のブラックボックスフィルタから元の画像を再構築するゼロオーダー逆フィルタリング手法を提案する。フィルタリングを距離空間における収縮写像としてモデル化し、固定点反復を用いることで、ガウス、バイラテラル、BM3D、商業的リタッチツールを含む多様な局所的・大域的フィルタを、フィルタの詳細を事前に知らない状態でも高精度に逆方向に処理できる。JPEG圧縮下でも有効である。

ABSTRACT

In this paper, we study an unconventional but practically meaningful reversibility problem of commonly used image filters. We broadly define filters as operations to smooth images or to produce layers via global or local algorithms. And we raise the intriguingly problem if they are reservable to the status before filtering. To answer it, we present a novel strategy to understand general filter via contraction mappings on a metric space. A very simple yet effective zero-order algorithm is proposed. It is able to practically reverse most filters with low computational cost. We present quite a few experiments in the paper and supplementary file to thoroughly verify its performance. This method can also be generalized to solve other inverse problems and enables new applications.

研究の動機と目的

• フィルタの形やパラメータを事前に知らないという非常識な問題に取り組む。
• Photoshop やモバイルアプリなどの消費者ソフトウェアで使われるブラックボックスフィルタからの実用的画像修復を可能にする。
• 非線形的・最適化ベースのフィルタを含め、多様なフィルタに適用可能な汎用的で低複雑度の手法を開発する。
• デブリングやノイズ除去を超えて、スーパーレゾリューションやガンマ補正・シャープニングの逆処理にも適用可能であることを示す。
• 距離空間における収縮写像理論を用いて、逆可逆性の理論的基盤を確立する。

提案手法

• 画像フィルタリングを、距離空間上での収縮写像としてモデル化する。ここでフィルタは画像を滑らかにしたバージョンに写像する。
• 2つの部分空間を定義する：Ω（フィルタが厳密な収縮写像である領域）とΠ̄（そうでない領域）。これによりΩでは理論的保証を得られる。
• 固定点反復を用いる：x_{k+1} = T(x_k)。ここでTはフィルタである。反復的に元の画像を回復する。
• ゼロオーダー最適化を適用する。勾配やフィルタ固有の知識は不要。フィルタの適用能力のみが必要である。
• 実際のフィルタの多くが主な画像構造とエネルギーを保存するという事実を活用し、Ωの外側でも実用的に逆処理が可能であることを示す。
• ダウンサンプリングをフィルタと見なし、非盲目的デコンボリューションやスーパーレゾリューションといった逆問題に一般化する。

実験結果

リサーチクエスチョン

• RQ1 フィルタの内部パラメータや形式を知らない状態で、画像フィルタを逆にできるか？
• RQ2 距離空間において、どのような数学的条件下でフィルタが可逆的に逆写像可能となるか？
• RQ3 ゼロオーダーで勾配を必要としない手法が、商業的フィルタを含む多様なフィルタの逆処理にどの程度有効か？
• RQ4 フィルタリングや圧縮後に失われた画像の詳細を、この手法はどの程度回復できるか？
• RQ5 この手法は、スーパーレゾリューションやデコンボリューションといった他の逆問題に一般化可能か？

主な発見

• 本手法は、実装を知らない状態でも、Microsoft Selfie App や Photoshop Express などの商業的ソフトウェアのフィルタからも、高精度で元の画像を回復できた。
• BM3Dノイズ除去およびAMFフィルタリングにおいて、テスト画像でそれぞれ31.21 dBおよび30.85 dBのPSNRを達成し、ベースライン手法を上回った。
• JPEG圧縮（品質60）下でも、PSNRが最大29.1 dBに達し、ロスイェス圧縮に対して高い耐性を示した。
• スーパーレゾリューションでは、bicubic補間を初期化として用いた×2スケーリングタスクで30.50 dBのPSNRを達成し、学習ベース手法と同等の性能を示した。
• ScSR や SRCNN の出力に本手法をポストプロセッサとして適用した場合、PSNRが0.3–0.5 dB向上し、既存モデルと相乗効果を発揮した。
• メディアンフィルタリングや重度の圧縮で完全に消失した詳細については、完全な回復に失敗した。これは情報回復の理論的限界を確認するものであった。