[論文レビュー] Depth Confidence-aware Camouflaged Object Detection

Jing Zhang, Yunqiu Lv+4 more|arXiv (Cornell University)|Jun 24, 2021

interferon and immune responses被引用数 5

ひとこと要約

本稿では、事前に計算された単眼深度マップを活用して検出精度を向上させる、深度信頼性を考慮した camouflage object detection ネットワークを提案する。低品質な深度をフィルタリングするための深度品質評価モジュールを導入することで、推論時にRGBまたはRGB-Dブランチを効果的に選択し、複数のCODベンチマークで最先端の性能を達成した。

ABSTRACT

Camouflaged object detection (COD) aims to segment camouflaged objects hiding in the environment, which is challenging due to the similar appearance of camouflaged objects and their surroundings. Research in biology suggests that depth can provide useful object localization cues for camouflaged object discovery, as all the animals have 3D perception ability. However, the depth information has not been exploited for camouflaged object detection. To explore the contribution of depth for camouflage detection, we present a depth-guided camouflaged object detection network with pre-computed depth maps from existing monocular depth estimation methods. Due to the domain gap between the depth estimation dataset and our camouflaged object detection dataset, the generated depth may not be accurate enough to be directly used in our framework. We then introduce a depth quality assessment module to evaluate the quality of depth based on the model prediction from both RGB COD branch and RGB-D COD branch. During training, only high-quality depth is used to update the modal interaction module for multi-modal learning. During testing, our depth quality assessment module can effectively determine the contribution of depth and select the RGB branch or RGB-D branch for camouflage prediction. Extensive experiments on various camouflaged object detection datasets prove the effectiveness of our solution in exploring the depth information for camouflaged object detection. Our code and data is publicly available at: \url{https://github.com/JingZhang617/RGBD-COD}.

研究の動機と目的

• 周囲と外観が類似する camouflage 物体を検出する課題に対処すること。
• depth 情報が camouflage object detection における局所化の手がかりとして有効である可能性を検討すること。
• depth 推定データセットと camouflage object detection データセットとの間のドメインギャップを軽減すること。
• 推論時に深度品質に基づいてRGBとRGB-Dブランチの間で動的に切り替えるメカニズムを開発すること。
• 高品質な深度予測でのみ相互作用モジュールを更新することで、マルチモーダル学習を向上させること。

提案手法

• 既存の単眼深度推定モデルから得た事前に計算された深度マップを入力として使用する。
• RGBおよびRGB-Dブランチからの予測に基づいて、深度の信頼性を評価する深度品質評価モジュールを導入する。
• 学習時、マルチモーダル特徴学習のため、モード相互作用モジュールを更新するために、高品質な深度マップのみを用いる。
• 推論時、深度品質評価モジュールが最終予測にRGBブランチかRGB-Dブランチのどちらを頼るかを決定する。
• RGBと深度入力のための共有バックボーンとモality特化ヘッドを持つ二重ブランチネットワークアーキテクチャを採用する。
• 深度品質に基づいて最も信頼性の高いモダリティを適応的に選択する信頼性ベースの統合戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 depth 推定のドメインギャップが存在するにもかかわらず、depth 情報が camouflage object detection の性能向上に寄与できるか？
• RQ2 ノイズの多い depth マップを検出に使用しないために、depth 品質を信頼性高く評価する方法は何か？
• RQ3 depth 品質が変動する際のRGBとdepth特徴の最適な統合戦略は何か？
• RQ4 信頼性に配慮したメカニズムが、推論時のRGBとRGB-Dブランチの間で動的に切り替えられ、耐障害性を向上させられるか？
• RQ5 標準的なCODベンチマークにおいて、提案手法は最先端のRGBオンリーモデルおよびRGB-Dモデルと比較してどうか？

主な発見

• 提案手法は、DUT-COD、CAMO、NC4K を含む複数の camouflage object detection ベンチマークで最先端の性能を達成した。
• 深度品質評価モジュールは低品質な深度マップを効果的にフィルタリングし、モデルの耐障害性と精度を向上させた。
• 信頼性ベースのブランチ選択戦略により、多様なテストシナリオにおいて一貫した性能向上が得られた。
• アブレーションスタディの結果、学習時に高品質な深度のみを用いることで、特徴学習が顕著に向上することが確認された。
• モデルはRGBオンリーベースラインおよびRGB-Dベースラインを上回り、品質が適切に評価された場合のdepthの価値を示した。