[論文レビュー] Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection

Youwei Pang, Lihe Zhang+2 more|arXiv (Cornell University)|Jul 13, 2020

Visual Attention and Saliency Detection参考文献 51被引用数 15

ひとこと要約

本稿では、RGB-D顕著オブジェクト検出のための階層的ダイナミックフィルタリングネットワーク（HDFNet）を提案する。本手法は、融合されたRGB-深度特徴から自己適応的にマルチスケールのフィルタを生成するダイナミックな拡張ピラミッドモジュールを導入し、クロスモーダル特徴抽出の性能を向上させる。本手法は、6つの指標で8つのベンチマークデータセットにおいて最先端の性能を達成しており、VGG16を用いた場合、52 FPSの推論速度と約170 MBのモデルサイズを実現した。

ABSTRACT

The main purpose of RGB-D salient object detection (SOD) is how to better integrate and utilize cross-modal fusion information. In this paper, we explore these issues from a new perspective. We integrate the features of different modalities through densely connected structures and use their mixed features to generate dynamic filters with receptive fields of different sizes. In the end, we implement a kind of more flexible and efficient multi-scale cross-modal feature processing, i.e. dynamic dilated pyramid module. In order to make the predictions have sharper edges and consistent saliency regions, we design a hybrid enhanced loss function to further optimize the results. This loss function is also validated to be effective in the single-modal RGB SOD task. In terms of six metrics, the proposed method outperforms the existing twelve methods on eight challenging benchmark datasets. A large number of experiments verify the effectiveness of the proposed module and loss function. Our code, model and results are available at \url{https://github.com/lartpang/HDFNet}.

研究の動機と目的

• 特にごみくずや低コントラストなシーンにおいて、顕著オブジェクト検出におけるRGBと深度のクロスモーダル特徴の有効な融合を解決すること。
• 密度予測タスクにおける一般化性能の低下と勾配更新の最適化不全を引き起こす固定パラメータの畳み込み演算の制限を克服すること。
• 新規に設計されたハイブリッド強化損失関数により、境界の鋭さと顕著領域の一貫性を向上させること。
• 融合特徴から生成される動的で領域に適応したフィルタを用いて、柔軟かつマルチスケールの特徴処理を可能とすること。
• 最小限の計算コストで高い性能を達成し、標準的なハードウェアでもリアルタイム推論を可能とすること。

提案手法

• RGB-深度特徴を混合することで、異なる受容 field を持つ動的畳み込みカーネルを生成する階層的ダイナミックフィルタリング機構を提案する。
• 適応的フィルタに従ってマルチスケールの拡張畳み込みを適用するダイナミック拡張ピラミッドモジュール（DDPM）を実装し、特徴表現の向上を図る。
• 異なるモダリティおよび段階間の特徴を凝集するために、密接な接続を用いることで、特徴の再利用と勾配の流れを強化する。
• エッジ隣接領域と内部顕著領域の間の一貫性を促進するハイブリッド強化損失（HEL）を設計し、境界の正確性を向上させる。
• 標準損失とHELを組み合わせてネットワークを訓練するが、これは単モダリティ（RGB）およびマルチモダリティ（RGB-D）の両設定で有効であることが示された。
• 空間的詳細の保持と高解像度出力を支援するため、スキップ接続を備えたVGG16ベースのエンコーダ-デコーダアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 RGBと深度特徴間のクロスモーダル融合を、顕著オブジェクト検出においてより適応的かつ効果的に行う方法は何か？
• RQ2 融合特徴から生成される動的畳み込みフィルタは、マルチスケール特徴学習と予測精度の向上に寄与するか？
• RQ3 エッジの一貫性と顕著領域の整合性を促進するハイブリッド強化損失関数は、追加パラメータなしに予測の鋭さを向上させるか？
• RQ4 提案手法は、最先端の性能を達成するとともに、リアルタイム推論速度とコンactモデルサイズを維持できるか？
• RQ5 ハイブリッド強化損失は、RGB-D設定を超えて、特に単モダリティのRGB顕著オブジェクト検出においても有効であるか？

主な発見

• 提案されたHDFNetは、6つの評価指標（$F_{max}$、$F_{ada}$、$F^{eta}_{\text{weighted}}$、MAE、$S_{m}$、$E_{m}$）において8つのベンチマークデータセットで最高の性能を達成した。
• DUT-OMRONデータセットでは、$F_{max}$が0.926、$F_{ada}$が0.892、$E_{m}$が0.937を記録し、比較対象の12のSOTA手法をすべて上回った。
• NVIDIA GTX 1080 Ti GPU上で52 FPSのリアルタイム推論速度を達成し、モデルサイズは約170 MBであった。
• アブレーションスタディにより、ハイブリッド強化損失（HEL）が境界の鋭さと領域の一貫性を顕著に向上させることが確認され、MAEが0.009低下し、$F_{max}$が最大0.015向上した。
• ダイナミック拡張ピラミッドモジュール（DDPM）は、固定受容フィールドや静的ベースラインと比較して、$F_{max}$および$E_{m}$で1.5–2.5%の向上をもたらした。
• HELが単モダリティRGB SODにおいても有効であることが検証され、複数のデータセットで一貫した改善が得られた。