[論文レビュー] Salient Object Detection by Lossless Feature Reflection

Pingping Zhang, Wei Liu+2 more|arXiv (Cornell University)|Feb 19, 2018

Visual Attention and Saliency Detection参考文献 11被引用数 9

ひとこと要約

本稿では、損失なし特徴再帰を用いた対称的完全畳み込みネットワーク（SFCN）を提案し、補完的特徴の共同学習と構造的監視を強化することで、顕著オブジェクト検出の性能を向上させる。本手法は、新しい構造的損失を用いて位置、文脈、意味的情報を統合することで、7つのベンチマークで最先端の性能を達成し、境界精度と空間的一致性が顕著に向上する。

ABSTRACT

Salient object detection, which aims to identify and locate the most salient pixels or regions in images, has been attracting more and more interest due to its various real-world applications. However, this vision task is quite challenging, especially under complex image scenes. Inspired by the intrinsic reflection of natural images, in this paper we propose a novel feature learning framework for large-scale salient object detection. Specifically, we design a symmetrical fully convolutional network (SFCN) to learn complementary saliency features under the guidance of lossless feature reflection. The location information, together with contextual and semantic information, of salient objects are jointly utilized to supervise the proposed network for more accurate saliency predictions. In addition, to overcome the blurry boundary problem, we propose a new structural loss function to learn clear object boundaries and spatially consistent saliency. The coarse prediction results are effectively refined by these structural information for performance improvements. Extensive experiments on seven saliency detection datasets demonstrate that our approach achieves consistently superior performance and outperforms the very recent state-of-the-art methods.

研究の動機と目的

• 複雑な画像シーン下でのぼやけたオブジェクト境界と局在性の欠如という課題に対処する。
• 深層ネットワークにおけるダウンサンプリング操作が空間的詳細と位置情報の劣化を引き起こすという制限を克服する。
• 損失なし特徴再帰によって誘導される対称的ネットワークブランチを活用し、補完的特徴を活用して特徴表現を向上させる。
• 位置、文脈的、意味的キューを統合する構造的監視を組み込むことで、検出性能を向上させる。
• セグメンテーション事前学習を必要とせず、既存の最先端手法を上回るエンドツーエンド学習可能なフレームワークを開発する。

提案手法

• 損失なし特徴再帰を用いて、相互に逆転した画像ペアを処理する共有重みを持つ2つの同じ構造のサブブランチを持つ対称的完全畳み込みネットワーク（SFCN）を設計し、補完的視覚的特徴を学習する。
• サブブランチからのマルチレベル特徴を段階的に統合する統合ブランチを実装し、洗練された類似度マップを生成する。
• 重み付きバイナリクロスエントロピー、境界に配慮した損失（$\mathcal{L}_{sc}$）、空間的一致性損失（$\mathcal{L}_{s1}$）を組み合わせた新しい構造的損失関数を提案し、3つのブランチをすべて監視する。
• 構造的損失を用いて、正確な類似度予測、鋭いオブジェクト境界、特徴マップ間の空間的一致性を同時に最適化する。
• バイナリクロスエントロピーと提案された構造的損失の組み合わせを用いて、ImageNet事前学習モデルからのファインチューニングを含め、ネットワーク全体をエンドツーエンドで学習する。
• 特徴再帰を活用して高解像度の詳細を保持し、特にコントラストが低いかごみだらけのシーンで特徴の補完性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 対称的完全畳み込みネットワークにおける損失なし特徴再帰は、特徴の補完性と類似度検出性能を向上させるか？
• RQ2 位置、文脈、意味を統合する構造的監視を組み込むことで、境界精度と空間的一致性はどの程度向上するか？
• RQ3 本手法で提案された構造的損失は、コントラストが低いかごみだらけの背景を伴う複雑なシーンに対し、標準的なバイナリクロスエントロピーと比較してどのように優れているか？
• RQ4 SFCNフレームワークは、セグメンテーション事前学習を必要とせず、多様なベンチマークで一貫した改善を達成できるか？
• RQ5 各コンポonent（例：再帰、階層的統合、構造的損失）の全体的な性能向上に果たす寄与度は何か？

主な発見

• 提案手法は、ECSSDでF-measureが0.880、SED2で0.897を達成し、7つのベンチマークで比較されたすべての最先端手法を上回る。
• 全損失コンポーネント（$\mathcal{L}_{wbce} + \mathcal{L}_{sc} + \mathcal{L}_{s1}$）を備えたモデルは、ECSSDでMAEが0.049を記録し、画素レベルの精度が優れていることを示している。
• DUT-OMRONおよびSEDデータセットでは、最近の最先端手法を顕著に上回り、その改善は構造的損失関数に起因している。
• セグメンテーション事前学習を一切行わず、ImageNetから微調整したモデルでもDCLやRFCNを上回る結果を達成しており、優れた一般化性能を示している。
• アブレーションスタディの結果、特に構造的損失が性能向上に貢献していることが確認され、全コンポーネントを備えたモデルがすべての指標で最高の結果を達成している。
• 定性的な結果から、本手法はコントラストが低いか境界に近いオブジェクトを含む困難なケースでも、より鋭い境界を保持し、完全な顕著構造を捉えていることが示されている。