[論文レビュー] HyperFusion-Net: Densely Reflective Fusion for Salient Object Detection

Pingping Zhang, Huchuan Lu+1 more|arXiv (Cornell University)|Apr 14, 2018

Visual Attention and Saliency Detection参考文献 40被引用数 3

ひとこと要約

HyperFusion-Net は、入力画像を内容保持変換を用いて反射画像ペアに分解し、インタラーブリッキング畳み込みニューラルネットワーク（ICNN）とハイパードイーブス・フェイズ・フュージョン機構を用いてマルチスケール特徴を統合することで、顕著オブジェクト検出のための新規エンドツーエンドフレームワークを提案する。本手法は、7つの公開ベンチマークで最先端の性能を達成し、人間の知覚にインspiredされた画像の反射と階層的特徴統合を活用することで、従来手法を顕著に上回る。

ABSTRACT

Salient object detection (SOD), which aims to find the most important region of interest and segment the relevant object/item in that area, is an important yet challenging vision task. This problem is inspired by the fact that human seems to perceive main scene elements with high priorities. Thus, accurate detection of salient objects in complex scenes is critical for human-computer interaction. In this paper, we present a novel feature learning framework for SOD, in which we cast the SOD as a pixel-wise classification problem. The proposed framework utilizes a densely hierarchical feature fusion network, named HyperFusion-Net, automatically predicts the most important area and segments the associated objects in an end-to-end manner. Specifically, inspired by the human perception system and image reflection separation, we first decompose input images into reflective image pairs by content-preserving transforms. Then, the complementary information of reflective image pairs is jointly extracted by an interweaved convolutional neural network (ICNN) and hierarchically combined with a hyper-dense fusion mechanism. Based on the fused multi-scale features, our method finally achieves a promising way of predicting SOD. As shown in our extensive experiments, the proposed method consistently outperforms other state-of-the-art methods on seven public datasets with a large margin.

研究の動機と目的

• 顕著オブジェクト検出（SOD）における単一の特徴と非補完的特徴統合の限界を解消すること。
• 特に画像の反射分離を通じて人間の知覚メカニズムを統合することで、SOD の性能を向上させること。
• より判別力があり空間的に一貫性のあるセマンティックマップを生成するため、マルチスケール特徴を階層的に統合する統一的でエンドツーエンドのフレームワークを構築すること。
• 反射画像ペアからの補完的情報を活用することで、計算オーバーヘッドを低減し、特徴表現を強化すること。
• 複雑な照明およびコントラスト条件下で、多様で挑戦的なベンチマークにおいて、既存の最先端手法を上回ること。

提案手法

• 本手法は、人間の視覚的光と影の知覚を模倣するために、コンテンツ保持変換を用いて入力RGB画像を反射画像ペアに分解する。
• 2つの重みステッチブランチと1つのハイパーフュージョンブランチを備えたインタラーブリッキング畳み込みニューラルネットワーク（ICNN）が、反射画像ペアからの補完的特徴を共同で抽出する。
• ハイパードイーブス・フュージョン機構により、両ブランチからのマルチレベル特徴が階層的に統合され、豊富なスケール間およびモダリティ間の特徴相互作用が可能になる。
• セマンティックマップの最適化のため、バイナリクロスエントロピー（BCE）、重み付きBCE（wBCE）、構造に配慮した知覚損失（sp）の複数の損失関数を統合する。
• VGG-16バックボーンを用いてエンドツーエンドで学習し、空間的コンテキストとオブジェクト境界を保持するため、複数のレベルで特徴統合が行われる。
• 本手法は7つの公開データセットで評価され、アブレーションスタディにより、画像の反射、統合戦略、損失設計の寄与が確認されている。

実験結果

リサーチクエスチョン

• RQ1 人間の光と影の知覚を模倣する画像の反射分離は、顕著オブジェクト検出を向上させ得るか？
• RQ2 反射画像ペアからの特徴を統合するハイパードイーブス・フュージョン機構は、より正確で境界に配慮したセマンティックマップを生成するか？
• RQ3 標準的な統合戦略と比較して、本研究で提案するインタラーブリッキングCNNアーキテクチャは、性能と効率の面で優れているか？
• RQ4 BCE、wBCE、sp の複数損失関数の統合は、検出の耐障害性と正確性をどの程度向上させるか？
• RQ5 本手法は、照明、コントラスト、オブジェクトの複雑さが異なる多様なデータセットに一般化可能か？

主な発見

• HyperFusion-Net は7つの公開ベンチマークで最高の性能を達成し、ECSSD では F-スコア 0.903 を記録し、従来の最先端手法を顕著に上回った。
• 画像の反射分離とハイパードイーブス・フュージョンを備えたモデルは、ECSSD で MAE 0.050 を達成し、反射分離なしのベースラインと比較して15%の改善を示した。
• アブレーションスタディの結果、wBCE と構造知覚損失（sp）を併用した場合に S-スコア 0.903 が最も高く、マルチ損失最適化の有効性が裏付けられた。
• ハイパードイーブス・フュージョン戦略は、ラテント統合と比較して F-スコアを 4.1%、イニシャル統合と比較して 3.1% 向上させ、特徴統合における有効性を示した。
• 本手法は、マルチコントラストや影のあるシーンなど、他のモデルが顕著オブジェクトを正確に検出できない困難な条件下でも優れた耐障害性を示した。
• 失敗事例から、顕著オブジェクトの散在性や高い変動性がある場合に、細部の検出に限界があることが判明し、今後の細粒度の詳細検出の改善の余地が示された。