[論文レビュー] MFNet: Multi-filter Directive Network for Weakly Supervised Salient Object Detection

Yongri Piao, Jian Wang+2 more|arXiv (Cornell University)|Dec 3, 2021

Visual Attention and Saliency Detection被引用数 9

ひとこと要約

本稿では、弱教師付き顕著オブジェクト検出のためのマルチフィルタ指向ネットワークMFNetを提案する。MFNetは、異なる精錬アルゴリズムから得られる複数の疑似ラベルを活用することで、単一ラベル手法のバイアスを克服する。複数の指向フィルタを用いてマルチガイドランス損失を通じて一貫した顕著性の手がかりを抽出・統合することで、5つのベンチマークで最先端の性能を達成し、既存手法を上回るとともに、MSWのような既存のベースラインに対しても$F_{\beta}^\omega$で最大9.1%の向上を達成した。

ABSTRACT

Weakly supervised salient object detection (WSOD) targets to train a CNNs-based saliency network using only low-cost annotations. Existing WSOD methods take various techniques to pursue single "high-quality" pseudo label from low-cost annotations and then develop their saliency networks. Though these methods have achieved good performance, the generated single label is inevitably affected by adopted refinement algorithms and shows prejudiced characteristics which further influence the saliency networks. In this work, we introduce a new multiple-pseudo-label framework to integrate more comprehensive and accurate saliency cues from multiple labels, avoiding the aforementioned problem. Specifically, we propose a multi-filter directive network (MFNet) including a saliency network as well as multiple directive filters. The directive filter (DF) is designed to extract and filter more accurate saliency cues from the noisy pseudo labels. The multiple accurate cues from multiple DFs are then simultaneously propagated to the saliency network with a multi-guidance loss. Extensive experiments on five datasets over four metrics demonstrate that our method outperforms all the existing congeneric methods. Moreover, it is also worth noting that our framework is flexible enough to apply to existing methods and improve their performance.

研究の動機と目的

• 弱教師付き顕著オブジェクト検出（WSOD）における単一疑似ラベル手法の限界、特に精錬アルゴリズムの特性に起因するバイアスを是正すること。
• 複数のノイズを含む疑似ラベルから包括的かつ正確な顕著性の手がかりを統合することで、モデルのロバストネスを向上させること。
• 既存のWSOD手法に容易に統合できる柔軟で拡張可能なアーキテクチャを設計すること。
• 多様な精錬戦略から得られる補完的情報を活用することで、単一の高品質な疑似ラベルに依存するのを減らすこと。

提案手法

• 顕著性ネットワークと複数の指向フィルタを備えたマルチフィルタ指向ネットワーク（MFNet）を提案し、複数の疑似ラベルから顕著性の手がかりを抽出する。
• クラスアクティベーションマップにピクセル単位とスーパーピクセル単位の2つの異なる精錬アルゴリズムを適用し、補完的な2つの疑似ラベルを生成する。
• 指向フィルタを用いて各ノイズを含む疑似ラベルから正確な顕著性の手がかりを抽出し、ノイズと不完全な予測を低減する。
• 複数の指向フィルタからフィルタリングされた手がかりを同時にサリエンシー・デコーダーに伝搬するためのマルチガイドランス損失を導入する。
• 学習可能なハイパーパrameter δ を用いた、指向フィルタ間の自己教師学習戦略を適用し、一貫したガイドランスと手がかり統合を促進する。
• 既存のWSOD手法に単一疑似ラベルヘッドをマルチ疑似ラベルフレームワークに置き換えることで、柔軟に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 多様な精錬戦略から得られる複数の疑似ラベルを統合することで、弱教師付き顕著オブジェクト検出におけるロバストネスと精度が向上するか？
• RQ2 複数のノイズを含む疑似ラベルを効果的にフィルタリング・統合し、より包括的かつ正確な顕著性の手がかりを抽出する方法は何か？
• RQ3 異なる疑似ラベルから補完的かつ一貫性のある顕著性の手がかりを学習するための、複数の指向フィルタをガイドする最適な戦略は何か？
• RQ4 提案されたフレームワークは、アーキテクチャの大幅な見直しを伴わずに、既存のWSOD手法を向上させることができるか？
• RQ5 指向フィルタ間の自己教師学習メカニズムは、性能と収束特性にどのように影響を与えるか？

主な発見

• MFNetは、ECSSD、DUTS-Test、HKU-IS、PASCAL-S、DUT-OMRONの5つのベンチマークデータセットで、$F_{\beta}^\omega$、$F_{\beta}$、$M$、MAEの4つの指標において最先端の性能を達成した。
• ECSSDデータセットにおいて、提案されたフレームワークをMSW手法に適用したところ、$F_{\beta}^\omega$指標で9.1%の向上を達成した。
• アブレーションスタディの結果、複数の疑似ラベルとマルチガイドランス損失を用いることで、単一ラベルベースラインと比較して顕著な性能向上が確認された。
• 最適な自己教師学習ハイパーパrameter δ = 2 が最良の性能を示し、指向フィルタ間の類似性を促進することで手がかり統合が向上することを示した。
• 可視化解析の結果、MFNetは特に複雑な背景や部分的なオブジェクトを含む困難なシーンにおいて、より完全で正確なサリエンシーマップを生成することが確認された。
• フレームワークは非常に柔軟で、単に指向フィルタを追加するだけで他のWSOD手法へも容易に拡張可能であり、優れた一般化性能とモularityを示した。