[論文レビュー] Salient Object Detection via Integrity Learning

Mingchen Zhuge, Deng-Ping Fan+4 more|arXiv (Cornell University)|Jan 19, 2021

Visual Attention and Saliency Detection被引用数 22

ひとこと要約

本稿では、多様な特徴抽出、統合チャネル強化、パーツ・ホール検証を組み合わせることで、微視的および巨視的整合性を向上させる、新しい顕著オブジェクト検出ネットワークであるICONを提案する。6つのベンチマークで平均誤検出率（FNR）が約10%相対的に改善され、最先端の性能を達成している。

ABSTRACT

Although current salient object detection (SOD) works have achieved significant progress, they are limited when it comes to the integrity of the predicted salient regions. We define the concept of integrity at both a micro and macro level. Specifically, at the micro level, the model should highlight all parts that belong to a certain salient object. Meanwhile, at the macro level, the model needs to discover all salient objects in a given image. To facilitate integrity learning for SOD, we design a novel Integrity Cognition Network (ICON), which explores three important components for learning strong integrity features. 1) Unlike existing models, which focus more on feature discriminability, we introduce a diverse feature aggregation (DFA) component to aggregate features with various receptive fields (i.e., kernel shape and context) and increase feature diversity. Such diversity is the foundation for mining the integral salient objects. 2) Based on the DFA features, we introduce an integrity channel enhancement (ICE) component with the goal of enhancing feature channels that highlight the integral salient objects, while suppressing the other distracting ones. 3) After extracting the enhanced features, the part-whole verification (PWV) method is employed to determine whether the part and whole object features have strong agreement. Such part-whole agreements can further improve the micro-level integrity for each salient object. To demonstrate the effectiveness of our ICON, comprehensive experiments are conducted on seven challenging benchmarks. Our ICON outperforms the baseline methods in terms of a wide range of metrics. Notably, our ICON achieves about 10% relative improvement over the previous best model in terms of average false negative ratio (FNR), on six datasets. Codes and results are available at: https://github.com/mczhuge/ICON.

研究の動機と目的

• 顕著オブジェクト検出（SOD）モデルが、微視的（完全なオブジェクトパーツ）および巨視的（画像内に存在するすべての顕著オブジェクト）レベルで顕著オブジェクトの整合性を保持できないという限界を解決すること。
• 特徴の多様性とパーツ・ホールの一貫性を明示的にモデル化することで、不完全または断片的な予測の問題を克服すること。
• 統合に配慮したメカニズムを導入することで特徴の識別性を向上させる統一フレームワークを提示し、SOD性能を向上させること。
• 7つの標準データセットを用いた包括的なアブレーションおよびベンチマークを通じて、統合学習の有効性を実証すること。

提案手法

• 異なる受容 field（カーネル形状および文脈）を持つ特徴を統合するための多様な特徴抽出（DFA）モジュールを導入し、より良いオブジェクトカバレッジを実現する特徴の多様性を向上させる。
• 完全な顕著オブジェクトを表す特徴チャネルを明示的に強化し、ノイズや関係のないチャネルを抑制するための統合チャネル強化（ICE）モジュールを提案する。
• 局所的パーツ特徴とグローバルな全体オブジェクト特徴の整合性を検証することで、微視的整合性を保証するパーツ・ホール検証（PWV）モジュールを設計する。
• PWVで一致に基づいて特徴を動的にルーティングするための電磁（EM）ルーティング機構を採用し、耐障害性および一貫性を向上させる。
• 予測されたマップと正解マップの整合性を促進する新しいCPR（整合性保持正則化）損失関数を用いてモデルを訓練する。
• すべてのモジュールを統合し、エンドツーエンドの顕著性予測を実現する統合認識ネットワーク（ICON）という統一アーキテクチャを構築する。

実験結果

リサーチクエスチョン

• RQ1 顕著オブジェクトのすべてのパーツが検出されることを保証する微視的整合性の明示的モデリングは、SOD性能の向上に寄与するか？
• RQ2 特徴レベルのメカニズムを用いて、画像内に存在するすべての顕著オブジェクトを正しく検出できる巨視的整合性を効果的に学習できるか？
• RQ3 特徴の多様性とパーツ・ホールの一貫性を向上させることで、より頑健で完全な顕著性予測が得られるか？
• RQ4 提案されたモジュール（DFA、ICE、PWV）は、標準ベンチマーク上で性能向上にどのように個別的および総合的に寄与しているか？

主な発見

• ICONは、7つのベンチマークのうち6つで、前回の最良モデル比で平均誤検出率（FNR）が約10%相対的に改善された。
• アブレーションスタディの結果、DFA、ICE、PWVの3つのモジュールすべてが性能向上に顕著な寄与をしていることが確認され、全指標でアブレーション変種を上回る性能を示した。
• CPR損失は、標準的なBCE損失よりも一般化性能および一貫性が優れており、すべての評価指標で上回った。
• PWVにおけるEMルーティングは、ダイナミックルーティング（DR）およびセルフルーティング（SR）よりも優れた性能を示し、一致に基づくルーティングの重要性を強調した。
• ICEモジュールは、SE、CBAM、GCTといった標準的なアテンション機構を上回り、統合に配慮した特徴の強化効果を示した。
• ICONは、OMRON、HKU-IS、DUTS-TEを含む7つのベンチマークで最先端の結果を達成し、$S_m$、$E_ heta^m$、$F_eta^w$、$M$の各指標で一貫した向上を示した。