[論文レビュー] Spatially-Attentive Patch-Hierarchical Network for Adaptive Motion Deblurring

Maitreya Suin, Kuldeep Purohit+1 more|arXiv (Cornell University)|Apr 11, 2020

Advanced Image Processing Techniques参考文献 26被引用数 15

ひとこと要約

本稿では、動的シーンにおける空間的に変化する運動歪みを処理するために、画素ごとにフィルターや受容野を適応的に制御する空間的注意型パッチ階層ネットワークを提案する。コンテンツに適応したグローバル・ローカル注意と動的フィルターラーニングを統合することで、従来のCNNベースの手法に比べて、より高い速度と効率性を実現した最先端のデブラー性能を達成した。

ABSTRACT

This paper tackles the problem of motion deblurring of dynamic scenes. Although end-to-end fully convolutional designs have recently advanced the state-of-the-art in non-uniform motion deblurring, their performance-complexity trade-off is still sub-optimal. Existing approaches achieve a large receptive field by increasing the number of generic convolution layers and kernel-size, but this comes at the expense of of the increase in model size and inference speed. In this work, we propose an efficient pixel adaptive and feature attentive design for handling large blur variations across different spatial locations and process each test image adaptively. We also propose an effective content-aware global-local filtering module that significantly improves performance by considering not only global dependencies but also by dynamically exploiting neighbouring pixel information. We use a patch-hierarchical attentive architecture composed of the above module that implicitly discovers the spatial variations in the blur present in the input image and in turn, performs local and global modulation of intermediate features. Extensive qualitative and quantitative comparisons with prior art on deblurring benchmarks demonstrate that our design offers significant improvements over the state-of-the-art in accuracy as well as speed.

研究の動機と目的

• 画像全体にわたって空間的に変化する歪みを伴う動的シーンにおける非一様な運動歪みの処理に取り組む。
• 深層畳み込みニューラルネットワーク（CNN）における固定で空間的に不変なフィルタが引き起こす高い計算コストと最適でない性能の制限を克服する。
• 局所的な歪み特性に基づいて受容野とフィルタ重みを動的に適応させる効率的なアーキテクチャを設計する。
• 適応的注意と階層的特徴学習を活用することで、単一画像のデブラーにおける正確性と速度のトレードオフを改善する。

提案手法

• 複数スケールでの処理を可能にするパッチ階層型エンコーダ・デコーダアーキテクチャを採用し、有効な局所的およびグローバル特徴学習を実現する。
• コンテンツに適応したグローバル・ローカルフィルタリング（PDF）モジュールは、局所的な歪みコンテンツに基づいてフィルタ重みと空間オフセットを動的に調整し、方向性のある適応フィルタリングを可能にする。
• エンコーダとデコーダの各レベル間でクロスアテンション（CA）ブロックを用い、異なるスケール間での特徴伝搬と表現学習を強化する。
• PDFモジュールは、適応的重みとオフセットを用いて空間的に変化するフィルタを学習し、画像内の主要な運動方向に合わせてネットワークを整合化できる。
• 各ステージ内で自己アテンション機構を適用し、長距離依存関係を捉え、特徴表現を向上させる。
• 融合マスクは、自己アテンションブランチと動的フィルタリングブランチの出力を、局所的な歪みの複雑さに応じて適応的に統合する。

実験結果

リサーチクエスチョン

• RQ1 画素ごとにフィルターパrametersと受容野を適応的に変更することで、深層学習ベースのデブラーモデルが、より高い正確性と効率性を達成できるか。
• RQ2 固定で一様な畳み込み層と比較して、コンテンツに適応した空間的に変化するフィルタリングは、複雑で非一様な運動歪みをどのように処理できるか。
• RQ3 グローバル・ローカル注意とクロスアテンションメカニズムは、特徴表現とデブラー性能をどの程度向上させるか。
• RQ4 適応的フィルタリングとアテンションメカニズムの統合は、デブラータスクにおいて相乗効果をもたらすか。
• RQ5 提案手法は正確性と計算効率の両方を満たしており、実世界の運動歪み画像におけるリアルタイム推論を可能にするか。

主な発見

• 提案手法は、Real-World DeblurringベンチマークでPSNR 30.76を達成し、先行する最先端手法を上回った。
• 従来のエンドツーエンドCNNベースのデブラーネットワークに比べ、優れた推論速度と低コストな計算フットプリントを示した。
• 可視化結果から、アテンションマップが主要な歪み領域と強く相関しており、ネットワークが関連領域に焦点を合わせられる能力を示した。
• 動的フィルタモジュールは、合成PSFの角度（例：0°, 45°, 90°, 135°に対応する11°, 50°, 81°, 126°）とほぼ一致するオフセット方向を推定し、方向性への適応性を裏付けた。
• アブレーションスタディの結果、PDFモジュールとクロスアテンションの併用が、単独で使用する場合よりも優れた性能を示した。
• 融合マスクは、高歪み領域（例：動いている物体）では動的フィルタリングブランチを優先的に選択し、均一な領域ではアテンションブランチを選択することで、文脈に適応した意思決定能力を示した。