[論文レビュー] Depth-Guided Camouflaged Object Detection.

Jing Zhang, Yunqiu Lv+4 more|arXiv (Cornell University)|Jun 24, 2021

Visual Attention and Saliency Detection参考文献 73被引用数 6

ひとこと要約

本稿では、事前に計算された単眼深度マップを活用して検出精度を向上させる深度誘導型カモフラージュオブジェクト検出ネットワークを提案する。低品質な深度をフィルタリングするための深度品質評価モジュールを導入することで、推論時にRGBまたはRGB-Dブランチを効果的に選択し、複数のCODベンチマークで最先端の性能を達成した。

ABSTRACT

Camouflaged object detection (COD) aims to segment camouflaged objects hiding in the environment, which is challenging due to the similar appearance of camouflaged objects and their surroundings. Research in biology suggests that depth can provide useful object localization cues for camouflaged object discovery, as all the animals have 3D perception ability. However, the depth information has not been exploited for camouflaged object detection. To explore the contribution of depth for camouflage detection, we present a depth-guided camouflaged object detection network with pre-computed depth maps from existing monocular depth estimation methods. Due to the domain gap between the depth estimation dataset and our camouflaged object detection dataset, the generated depth may not be accurate enough to be directly used in our framework. We then introduce a depth quality assessment module to evaluate the quality of depth based on the model prediction from both RGB COD branch and RGB-D COD branch. During training, only high-quality depth is used to update the modal interaction module for multi-modal learning. During testing, our depth quality assessment module can effectively determine the contribution of depth and select the RGB branch or RGB-D branch for camouflage prediction. Extensive experiments on various camouflaged object detection datasets prove the effectiveness of our solution in exploring the depth information for camouflaged object detection. Our code and data is publicly available at: \url{this https URL}.

研究の動機と目的

• 外観が類似しているため周囲と完全に融合してしまうため、物体が容易に識別できないカモフラージュオブジェクト検出（COD）の課題に対処すること。
• 生物学的三次元認識にインspiredされた深度情報の局所化ヒントとしての可能性を検討するが、既存のCOD手法ではその活用が不十分である。
• 深度推定データセットとCODデータセットの間のドメインギャップを克服すること。これは、直接適用した場合に不正確な深度予測を生じる要因である。
• 推論時に深度の信頼性に基づいてRGBブランチとRGB-Dブランチのどちらを使用するかを動的に選択するための深度品質評価モジュールを開発すること。
• 深度品質が良好な場合にのみRGBと深度モダリティを統合することで、ロバストで高精度なカモフラージュオブジェクト検出を実現すること。

提案手法

• 既存の単眼深度推定モデルから得た事前に計算された深度マップをCODフレームワークの入力として利用する。
• RGBブランチとRGB-Dブランチの両方の予測を用いて深度の信頼性を評価する深度品質評価モジュールを導入する。
• 学習時、高品質な深度を持つサンプルのみを用いて、マルチモダリティ特徴学習のためのモダリティ相互作用モジュールを更新する。
• 推論時、深度品質評価モジュールが最終予測にRGBブランチかRGB-Dブランチのどちらを頼るかを決定する。
• RGBとRGB-D入力のための共有バックボーンとモダリティ固有のヘッドを持つ二重ブランチネットワークアーキテクチャを採用する。
• 品質スコアに基づいて、RGBブランチと深度ブランチからの特徴を適応的に統合する学習可能な統合メカニズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 単眼深度推定から得られる深度情報は、カモフラージュオブジェクト検出の性能向上に寄与するか？
• RQ2 深度推定とカモフラージュオブジェクト検出のデータセット間のドメインギャップを効果的に処理する方法は何か？
• RQ3 深度品質がサンプルごとに異なる場合、RGBと深度特徴を最適に統合する戦略は何か？
• RQ4 学習された深度品質評価モジュールは、推論時に最も信頼性の高いモダリティを選択することで、検出のロバスト性を向上させられるか？
• RQ5 固定統合またはRGBオンリーのベースラインと比較して、深度の選択的使用は性能向上をもたらすか？

主な発見

• 提案手法は、DUT-COD、CAMO、NC4Kを含む複数のカモフラージュオブジェクト検出ベンチマークで最先端の性能を達成した。
• 深度品質評価モジュールにより、学習時に低品質な深度予測をフィルタリングすることで、検出精度が顕著に向上した。
• 平均して、深度品質が良好な場合、RGB-DブランチはRGBオンリーのブランチを上回った。これは深度誘導の価値を裏付けた。
• すべてのベンチマークデータセットで一貫した改善が得られ、特に高レベルのカモフラージュを示す困難なサンプルで顕著な向上が確認された。
• アブレーションスタディにより、深度マップがノイズが多いまたは不正確な場合でも、深度品質評価モジュールが性能維持に不可欠であることが確認された。
• 多様な環境やオブジェクトタイプにわたり一般化がうまくいき、深度推定におけるドメインシフトに対してもロバストであることが示された。