[論文レビュー] Image Reconstruction with Predictive Filter Flow

Shu Kong, Charless C. Fowlkes|arXiv (Cornell University)|Nov 28, 2018

Advanced Image Processing Techniques参考文献 48被引用数 14

ひとこと要約

本稿では、非一様ぼかし除去、圧縮アーティファクト低減、スーパーレゾリューションなど、画像再構成タスクにおいて最先端の性能を達成する、空間的に変化する線形フィルタを予測する新しい深層学習フレームワーク、予測フィルタフロー（PFF）を提案する。この手法は解釈可能で高速であり、自己教師あり学習を用いてエンドツーエンドで訓練可能であり、科学的・インタラクティブな応用に向けた明示的な可視化と制御が可能である。

ABSTRACT

We propose a simple, interpretable framework for solving a wide range of image reconstruction problems such as denoising and deconvolution. Given a corrupted input image, the model synthesizes a spatially varying linear filter which, when applied to the input image, reconstructs the desired output. The model parameters are learned using supervised or self-supervised training. We test this model on three tasks: non-uniform motion blur removal, lossy-compression artifact reduction and single image super resolution. We demonstrate that our model substantially outperforms state-of-the-art methods on all these tasks and is significantly faster than optimization-based approaches to deconvolution. Unlike models that directly predict output pixel values, the predicted filter flow is controllable and interpretable, which we demonstrate by visualizing the space of predicted filters for different tasks.

研究の動機と目的

• 最適化ベースの手法は計算コストが高く、データ駆動型のCNNは解釈性に欠けるという点を是正するため。
• 非歪み除去、アーティファクト低減、スーパーレゾリューションなど多様な低レベルビジョンタスクに適用可能な統合的でエンドツーエンドで訓練可能なフレームワークを構築するため。
• ピクセル単位の直接回帰ではなく、空間的に変化する線形フィルタフローとして変換をモデル化することで、解釈可能で制御可能な画像再構成を実現するため。
• ぼかし、圧縮、ダウンサンプリングなどの劣化プロセスをシミュレートすることで、手動アノテーションが不要な大規模なトレーニングデータを生成し、自己教師あり学習を活用するため。

提案手法

• モデルは、損傷を受けた入力画像を分析し、空間的に変化する線形フィルタの各ピクセルごとのフィルタ重みを予測する二本のCNNを用いる。
• 予測されたフィルタ重みは、局所的な画像ネighborhoodに適用され、非一様畳み込みに類似した線形変換によって出力画像を再構成する。
• 予測出力と真値画像の間の再構成損失（例：L2またはL1）を用いてネットワークを訓練することで、スーパーレゾリューションなどのタスクにおける自己教師あり学習を可能にする。
• フィルタフローはSeitzとBakerの元来の研究にインspiredされているが、大規模最適化問題を解く代わりにCNNを用いて直接フィルタ重みを回帰することで、差異を生じている。
• 標準的な画像対画像回帰ネットワークでは難しい、局所的な明るさ保存などの制約をサポートできる。
• k-meansクラスタリング、t-SNE、PCAを用いたフィルタの可視化により、アンシャープマスキング、異方的拡散、ラプラシアンに類似した演算子に類似した解釈可能な構造が明らかになった。

実験結果

リサーチクエスチョン

• RQ1 空間的に変化するフィルタを予測する深層学習モデルは、解釈可能で効率的である一方で、画像再構成タスクにおいて最先端の性能を達成できるか？
• RQ2 異なる画像再構成タスクにおいて予測されたフィルタ重みはどのように変化するか？また、それらは意味的に可視化・解釈可能か？
• RQ3 合成された劣化プロセスを用いた自己教師あり学習は、画像再構成タスクにおいて、ペアドリアルデータの必要性をどれほど代替できるか？
• RQ4 フィルタフロー表現は、エッジを保持する平滑化やシャープニングなどの制御可能で物理的に妥当な画像変換をサポートできるか？
• RQ5 標準的なCNNの不透明な特徴マップと比較して、フィルタ重みの解釈性は、信頼性および科学的有用性において優れているか？

主な発見

• Set5およびSet14データセットにおいて、PFFモデルは単一画像スーパーレゾリューションでPSNR 32.74 dB、SSIM 0.9021を達成し、RDN+やSRCNNを含むすべての先行手法を上回った。
• 非一様運動ぼかし除去において、PFFモデルは最先端の手法を著しく上回り、視覚的結果ではより鋭いエッジとより優れたアーティファクト抑制が確認された。
• JPEG圧縮アーティファクト低減において、モデルは高周波数成分を効果的に回復させ、ブロックアーティファクトを低減した。フィルタ可視化では、適応的ハイパスフィルタリングの挙動が示された。
• 予測されたフィルタフローは画像全体で滑らかに変化しており、顕著なエッジやテクスチャに沿って不連続性を示しており、異方的拡散やバイリタラルフィルタリングに類似していた。
• 主成分分析により、10次元の主成分が99.6％以上のフィルタエネルギーを捉えており、フィルタ空間の低次元的・構造的表現であることが示された。
• t-SNEおよびk-meansによる可視化により、モデルが方向性統合、アンシャープマスキング、ラプラシアンに類似した応答といった解釈可能なフィルタパターンを学習しており、画像修復操作と直接関連していることが明らかになった。