[論文レビュー] Deep Blur Mapping: Exploiting High-Level Semantics by Deep Neural Networks

Kede Ma, Huan Fu+3 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Image Processing Techniques参考文献 48被引用数 4

ひとこと要約

本稿では、深層層からのハイレベルな意味的特徴を活用して正確な局所ブラー地図を生成するエンドツーエンドの完全畳み込みニューラルネットワーク（FCN）であるDeep Blur Mapping（DBM）を提案する。低レベル統計ではなく深層特徴を利用する点で、従来手法を著しく上回り、標準的なブラー検出ベンチマークにおいて最先端のODS Fスコア0.853を達成した。これは、平坦領域とブラー領域の区別や曖昧なケースの解消において顕著な性能向上を示している。

ABSTRACT

The human visual system excels at detecting local blur of visual images, but the underlying mechanism is not well understood. Traditional views of blur such as reduction in energy at high frequencies and loss of phase coherence at localized features have fundamental limitations. For example, they cannot well discriminate flat regions from blurred ones. Here we propose that high-level semantic information is critical in successfully identifying local blur. Therefore, we resort to deep neural networks that are proficient at learning high-level features and propose the first end-to-end local blur mapping algorithm based on a fully convolutional network. By analyzing various architectures with different depths and design philosophies, we empirically show that high-level features of deeper layers play a more important role than low-level features of shallower layers in resolving challenging ambiguities for this task. We test the proposed method on a standard blur detection benchmark and demonstrate that it significantly advances the state-of-the-art (ODS F-score of 0.853). Furthermore, we explore the use of the generated blur maps in three applications, including blur region segmentation, blur degree estimation, and blur magnification.

研究の動機と目的

• 従来のブラー検出手法が低レベル特徴に依存しており、平坦領域とブラー領域を区別できないという根本的限界を解消すること。
• 特に曖昧な視覚的文脈において、ハイレベルな意味的情報が局所的ブラー地図の精度を向上させるかどうかを調査すること。
• 空間的詳細を保持し、多様な画像コンテンツに一般化可能な、エンドツーエンドの画像対画像のブラー地図生成システムを、深層ニューラルネットワークを用いて開発すること。
• 学習されたブラー地図がセグメンテーション、ブラー度推定、ブラー拡大といった下流の応用において有効であることを実証すること。

提案手法

• 完全畳み込みネットワーク（FCN）を採用した、変更を加えたVGGNetアーキテクチャに基づくもので、エンドツーエンドの空間的に密な予測を可能にするために全結合層を排除している。
• 異なる畳み込み段階から16層のVGGNetを切り詰め、ネットワークの深さに応じた特徴の寄与度を評価している。
• 意味的セグメンテーションタスクで事前学習された重みを用いて、ネットワークに豊富なハイレベルな意味的特徴を組み込んでいる。
• ピクセル単位のブラー信頼度予測を最適化するため、マルチスケール損失戦略を採用している。
• 生成されたブラー地図を、インタラクティブセグメンテーション（GrabCut）のマスク、ブラー度推定（平均ブラー信頼度）、ブラー拡大（高信頼度ピクセルに対するガウス畳み込み）に応用している。
• 低レベルの空間的特徴とハイレベルな意味的特徴をより効果的に統合するため、有向非巡回グラフ（DAG）アーキテクチャを検討したが、顕著な性能向上は得られなかった。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのハイレベルな意味的特徴を用いることで、従来の低レベル特徴ベース手法と比較して、局所的ブラー地図の精度が向上するか？
• RQ2 浅い層と深い層からの特徴（浅い層対深い層）は、平坦領域とぼやけたテクスチャの区別が難しい曖昧なブラー事例に対して、どのように寄与するか？
• RQ3 構造的類似性がブラーを隠す複雑なシーンにおいて、ハイレベルな意味的特徴がブラー検出をどの程度向上させるか？
• RQ4 学習されたブラー地図は、セグメンテーション、ブラー推定、画像強化といった下流のビジョンタスクにおいて、効果的に再利用可能か？

主な発見

• 提案手法DBMは、標準的なブラー検出ベンチマークで、最先端のODS Fスコア0.853を達成し、従来手法を著しく上回った。
• 実験的結果から、曖昧なブラー事例の解消において、浅い特徴よりも深い層からの特徴がより重要な役割を果たしていることが示され、ハイレベルな意味的特徴の重要性が裏付けられた。
• 従来手法が失敗する主なケースである、自然に滑らかな平坦領域と、テクスチャの欠落を伴うブラー領域の区別を、本手法は成功裏に実現した。
• DBMが生成するブラー地図は、セグメンテーションタスクにおいて優れた性能を発揮し、平坦領域が誤ってブラーと分類されるケースが減少し、より連結性の高い領域セグメンテーションが可能になった。
• ブラー度推定においても、平均信頼度スコアが画像シーケンス全体で人間のブラー強度の認識とよく一致しており、有効性が確認された。
• ブラー拡大においては、DBMは明確な領域とぼやけた領域の間で滑らかな遷移を実現し、視覚的に一貫性のある結果を生成した。これに対して、ベースライン手法は構造を歪めてしまう傾向にあった。