[論文レビュー] Deep Edge-Aware Saliency Detection

Jing Zhang, Yuchao Dai+2 more|arXiv (Cornell University)|Aug 15, 2017

Visual Attention and Saliency Detection参考文献 6被引用数 17

ひとこと要約

本稿では、エッジとサリエンシーマップをエンドツーエンドで同時に学習する完全畳み込みニューラルネットワークを提案する。本手法は、新規のスキップアーキテクチャと拡張畳み込みを用いて、手作業で設計された事前知識とマルチスケール特徴を統合する。10のベンチマークで最先端の性能を達成し、複数または小さなサリエントオブジェクトを含む複雑なシーンにおいても、鋭いオブジェクト境界と優れた耐障害性を示す。1枚あたり約0.25秒の高速な推論時間を維持している。

ABSTRACT

There has been profound progress in visual saliency thanks to the deep learning architectures, however, there still exist three major challenges that hinder the detection performance for scenes with complex compositions, multiple salient objects, and salient objects of diverse scales. In particular, output maps of the existing methods remain low in spatial resolution causing blurred edges due to the stride and pooling operations, networks often neglect descriptive statistical and handcrafted priors that have potential to complement saliency detection results, and deep features at different layers stay mainly desolate waiting to be effectively fused to handle multi-scale salient objects. In this paper, we tackle these issues by a new fully convolutional neural network that jointly learns salient edges and saliency labels in an end-to-end fashion. Our framework first employs convolutional layers that reformulate the detection task as a dense labeling problem, then integrates handcrafted saliency features in a hierarchical manner into lower and higher levels of the deep network to leverage available information for multi-scale response, and finally refines the saliency map through dilated convolutions by imposing context. In this way, the salient edge priors are efficiently incorporated and the output resolution is significantly improved while keeping the memory requirements low, leading to cleaner and sharper object boundaries. Extensive experimental analyses on ten benchmarks demonstrate that our framework achieves consistently superior performance and attains robustness for complex scenes in comparison to the very recent state-of-the-art approaches.

研究の動機と目的

• 複数または小さなサリエントオブジェクトを含む複雑なシーンを扱う際の、深層サリエンシーモデルの限界を解消すること。
• CNNにおけるプーリングやストライド操作によって引き起こされる低解像度出力マップの問題を克服すること。
• 手作業で設計されたサリエンシー事前知識（例：境界、コントラスト、中心事前知識）を深層特徴と統合し、検出精度を向上させること。
• 異なるネットワーク層からのマルチスケール特徴を効果的に統合し、さまざまなサイズのオブジェクトへの応答性を向上させること。
• メモリと推論コストを低く保ちながら、高空間解像度と鋭いエッジを維持すること。

提案手法

• 背景、サリエントエッジ、サリエントオブジェクトの3クラスに分類する密度ラベル問題にサリエンシー検出を再定式化し、エッジに配慮した監視を可能にする。
• 低レベル（詳細）特徴と高レベル（意味的）特徴を統合する、新規のスキップアーキテクチャを備えた深層・浅層の完全畳み込みネットワークを設計する。
• 低レベルおよび高レベルのネットワーク段階に段階的に手作業で設計されたサリエンシー特徴（例：境界、コントラスト、中心事前知識）を統合し、特徴表現を豊かにする。
• コンテキストモジュールで拡張畳み込みを適用し、感受 field を拡大し、空間的整合性とエッジの鋭さを向上させる。
• エッジ事前知識を監視信号として活用し、エッジとサリエンシー予測を同時に最適化するエンドツーエンドの学習により、ネットワーク全体を訓練する。

実験結果

リサーチクエスチョン

• RQ1 ジョイントでサリエントエッジとサリエンシーマップを学習することで、深層サリエンシー検出における境界精度と解像度が向上するか？
• RQ2 手作業で設計されたサリエンシー事前知識が、深層ニューラルネットワークに効果的に統合可能で、複雑なシーンにおける性能向上に寄与するか？
• RQ3 特にボトムアップとトップダウンの特徴を統合するマルチスケール特徴統合は、小さなサリエントオブジェクトの検出を改善するか？
• RQ4 拡張畳み込みは、メモリコストを増加させることなく、空間解像度を回復させ、エッジの鋭さを向上させることができるか？
• RQ5 本手法は、複数または非常に小さなサリエントオブジェクトを含むデータセットに一般化可能か？

主な発見

• 提案手法は10のベンチマークデータセットで、11の最近の最先端手法を大きく上回る最先端の性能を達成した。
• 小さなサリエントオブジェクトを含むデータセット（例：DUTでは50％以上の画像でサリエント領域が画像面積の10％未満）において、平均Fスコアと最大Fスコアが最高を記録し、小さなオブジェクト検出能力に優れていることが示された。
• 1枚あたり約0.25秒の高速な推論時間を維持しており、高精度であるにもかかわらず、高い効率性を示している。
• 低レベル特徴と手作業で設計された事前知識の統合が、小さなサリエントオブジェクトの性能向上に顕著に寄与しており、「Our(s)」は小オブジェクトサブセットですべてのベースラインを上回った。
• 複数のサリエントオブジェクトを含むデータセットに対しても一般化性能が高く、HKU-ISの単一および複数オブジェクトサブセットの両方で最良のPR曲線性能を達成し、オブジェクト数の変動に強いことが確認された。
• アブレーションスタディにより、エッジに配慮した監視とマルチスケール特徴統合が、エッジの鋭さと全体的な精度向上に重要な貢献していることが確認された。