[論文レビュー] JL-DCF: Joint Learning and Densely-Cooperative Fusion Framework for RGB-D Salient Object Detection

Keren Fu, Deng-Ping Fan+2 more|arXiv (Cornell University)|Apr 18, 2020

Visual Attention and Saliency Detection参考文献 79被引用数 29

ひとこと要約

本論文は、RGB-D顕著オブジェクト検出のための新しい共同学習および密な協調的融合フレームワーク、JL-DCFを提案する。この手法は、共有されたシアンプスネットワークを活用して、RGBおよび深度入力から階層的特徴を同時に抽出し、その後、クロスモダリティの補完性を活用する協調的融合機構を適用する。本手法は最先端の性能を達成し、6つのベンチマークデータセット全体でトップ1のD3Netモデルを平均1.9%向上させた。

ABSTRACT

This paper proposes a novel joint learning and densely-cooperative fusion (JL-DCF) architecture for RGB-D salient object detection. Existing models usually treat RGB and depth as independent information and design separate networks for feature extraction from each. Such schemes can easily be constrained by a limited amount of training data or over-reliance on an elaborately-designed training process. In contrast, our JL-DCF learns from both RGB and depth inputs through a Siamese network. To this end, we propose two effective components: joint learning (JL), and densely-cooperative fusion (DCF). The JL module provides robust saliency feature learning, while the latter is introduced for complementary feature discovery. Comprehensive experiments on four popular metrics show that the designed framework yields a robust RGB-D saliency detector with good generalization. As a result, JL-DCF significantly advances the top-1 D3Net model by an average of ~1.9% (S-measure) across six challenging datasets, showing that the proposed framework offers a potential solution for real-world applications and could provide more insight into the cross-modality complementarity task. The code will be available at https://github.com/kerenfu/JLDCF/.

研究の動機と目的

• RGBと深度を独立したモダリティとして扱い、別々の特徴抽出ネットワークを用いる既存のRGB-D顕著性モデルの制限を解消すること。
• 共有されたシアンプスバックボーンを用いてRGBおよび深度入力の両方で共同学習を行うことで、特徴学習のロバスト性とクロスモダリティの補完性を向上させること。
• モダリティ固有の特徴間の密な、協調的な相互作用を可能にする有効な統合戦略を開発し、顕著性予測を強化すること。
• 高品質な深度データが限られているにもかかわらず、多様で現実世界のRGB-Dデータセットにおいて優れた汎化性能と性能を示すこと。
• マルチモーダルラーニング分野における進展を促進する、柔軟で汎用性の高いフレームワークを提供すること。

提案手法

• フレームワークは、RGBおよび深度入力から同時に深層階層特徴を抽出できる共有バックボーンを備えたシアンプスネットワークを採用し、共同特徴学習を可能にする。
• 共同学習（JL）モジュールは、共有重みとトレーニング中のクロスモダリティ一貫性を活用することで、強固な特徴表現を保証する。
• 密な協調的統合（DCF）モジュールは、複数のレベルでモダリティ間の継続的かつ双方向の特徴相互作用を可能にし、補完的情報統合を強化する。
• 統合機構は、特徴の動的重み付けと結合に学習可能なアテンションおよび連結演算を用いる。
• 全ネットワークは、顕著性マップの監視に二値交差エントロピー損失とDice損失を組み合わせたマルチタスク損失を用いてエンドツーエンドで学習可能である。
• アーキテクチャは、S-measure、F-measure、E-measure、M-measureを含む標準指標を用いて、6つの標準RGB-Dデータセットで評価されている。

実験結果

リサーチクエスチョン

• RQ1 RGBと深度のモダリティ差異を考慮しても、共有されたシアンプスネットワークが両モダリティから顕著性に関連する特徴を効果的に学習できるか？
• RQ2 RGBおよび深度入力からの共同特徴学習は、個別ネットワークを用いた別個学習よりも、より優れた汎化性能と性能を達成するか？
• RQ3 密な協調的統合戦略は、早期統合や後期統合を上回るレベルで、クロスモダリティの補完性を効果的に活用できるか？
• RQ4 提案されたJL-DCFフレームワークは、多様で現実世界のRGB-Dデータセットにおいて、最先端のモデルと比較してどのように性能を発揮するか？
• RQ5 収束安定性および最終性能の観点から、共同学習と別個学習の貢献度は何か？

主な発見

• JL-DCFは、6つのベンチマークデータセット全体で、以前の最先端モデルD3Netを平均1.9%向上させ、S-measureで向上を達成した。
• 共同学習戦略はトレーニング収束と最終性能を顕著に改善し、40エポック後のSαで1.1%、Fβmaxで1.76%の向上を別個学習より達成した。
• 密な協調的統合機構は、RGBと深度間の補完的ヒントを効果的に捉え、より正確でロバストな顕著性マップを生成した。
• 高品質な深度マップを備えたデータセット（例：RGBD135およびSIP）では、深度のみのモデルがRGBのみのモデルと同等またはそれ以上に性能を発揮した。これは、適切に統合された深度データの有効性を裏付けた。
• アブレーションスタディの結果、共同学習およびDCFコンポーネントの両方が本質的であり、それぞれが全体の性能向上に顕著な貢献をした。
• 本フレームワークは、多様なシーンにわたって良好に汎化され、深度品質の変動に対してもロバストであることが示され、強力な現実世界適用性を示した。