[論文レビュー] Centralized Information Interaction for Salient Object Detection

Jiangjiang Liu, Zhiang Liu+1 more|arXiv (Cornell University)|Dec 21, 2020

Visual Attention and Saliency Detection参考文献 73被引用数 4

ひとこと要約

本稿では、空間補間を回避するための共有でパラメータ効率の良いモジュールを用いてマルチスケール特徴を統合することで、顕著オブジェクト検出を向上させる集中型情報連携（CII）メカニズムを提案する。相対的グローバルキャリブレーション（RGC）モジュールを統合することで、わずか約4%の追加パラメータとFLOPsの削減で、5つのベンチマークで最先端の性能を達成した。

ABSTRACT

The U-shape structure has shown its advantage in salient object detection for efficiently combining multi-scale features. However, most existing U-shape based methods focused on improving the bottom-up and top-down pathways while ignoring the connections between them. This paper shows that by centralizing these connections, we can achieve the cross-scale information interaction among them, hence obtaining semantically stronger and positionally more precise features. To inspire the potential of the newly proposed strategy, we further design a relative global calibration module that can simultaneously process multi-scale inputs without spatial interpolation. Benefiting from the above strategy and module, our proposed approach can aggregate features more effectively while introducing only a few additional parameters. Our approach can cooperate with various existing U-shape-based salient object detection methods by substituting the connections between the bottom-up and top-down pathways. Experimental results demonstrate that our proposed approach performs favorably against the previous state-of-the-arts on five widely used benchmarks with less computational complexity. The source code will be publicly available.

研究の動機と目的

• U字型ネットワークの既存手法が、ボトムアップとトップダウンのパス間に直接的かつ非集中的な接続を採用していることによるスケール間特徴連携の制限を解消すること。
• マルチスケール特徴統合の過程で空間補間が引き起こす空間情報の劣化を克服すること。
• 空間変換を伴わず、パラメータ効率的で、エンドツーエンドで学習可能なモジュールを設計し、スケール間でグローバルな文脈に配慮した特徴連携を可能にすること。
• 集中型特徴連携が、顕著オブジェクト検出における意味的強度と空間精度を顕著に向上させることを実証すること。
• バックボーンやパス設計を変更せずに、既存のU字型ベースの顕著オブジェクト検出モデルに即座に統合可能なプラグアンドプレイ型統合を可能にすること。

提案手法

• すべての段階からの特徴に適用される共有のマルチスケール処理モジュールに、直接的なスキップ接続を置き換える集中型情報連携（CII）戦略を導入する。
• マルチスケール特徴を共有モジュールで処理し、クロススケール情報がフィルタに直接埋め込まれるよう設計することで、空間補間の必要性を排除する。
• 異なるスケールの特徴間の相対的関係をモデル化することで、スケール固有のグローバルコンテキストを捉える相対的グローバルキャリブレーション（RGC）モジュールを提案する。
• 空間アップサンプリングやダウンサンプリングを伴わず、正確な空間位置を保持したまま、マルチスケール入力に対してRGCモジュールを動作可能に設計する。
• 追加パラメータとFLOPsを最小限に抑えて、ネットワーク全体をエンドツーエンドで学習可能にすること。
• パス間のスキップ接続のみを置き換えることで、任意のU字型ベースの顕著オブジェクト検出モデルに柔軟に統合可能にすること。

実験結果

リサーチクエスチョン

• RQ1 集中型スケール間特徴連携は、標準的なU字型スキップ接続を上回る顕著オブジェクト検出の表現品質を向上させることができるか？
• RQ2 マルチスケール特徴統合において空間補間を回避することで、空間ディテールの保持が向上し、検出精度が向上するか？
• RQ3 空間変換を伴わず、共有のマルチスケールモジュールが、異なる受容野をカバーするグローバルコンテキストを効果的に捉えることができるか？
• RQ4 従来のアテンションやプーリング機構と比較して、提案されたRGCモジュールはスケール相対的グローバルコンテキストをどのようにモデル化しているか？
• RQ5 CIIおよびRGCモジュールは、異なるバックボーンアーキテクチャーやU字型検出フレームワークにどの程度一般化可能か？

主な発見

• 提案手法は、PASCAL-S、HKU-IS、DUTS-TEを含む5つの広く使われている顕著オブジェクト検出ベンチマークで最先端の性能を達成した。
• ResNet-50を用いた場合、DUTS-TEでF-measureが0.950を達成し、以前のSOTA手法であるITSD（0.947）を上回り、追加パラメータが67%も少ない。
• ResNet-18版の手法は、F-measureおよび平均Fスコアの観点で、多くのResNet-50ベースの先行手法を上回り、優れたパラメータ効率を示した。
• ResNet-50に対してわずか約0.97M（4.1%）の追加パラメータと、4.74Gの追加計算量（FLOPs）を追加するのみで、先行SOTA手法よりも顕著に低い。
• 可視化比較では、エッジ特化の教師信号がなくても、特に小さな物体や複雑な形状の物体に対して、より完全で正確なサリエンシーマップを生成した。
• アブレーションスタディの結果、CIIおよびRGCの両方が性能向上に顕著な貢献をしていることが確認され、RGCは最小限のパラメータオーバーヘッドでも強力な向上効果を示した。