[論文レビュー] Exploring Depth Contribution for Camouflaged Object Detection

Mochu Xiang, Jing Zhang+4 more|arXiv (Cornell University)|Jun 24, 2021

Image Enhancement Techniques被引用数 9

ひとこと要約

本論文は、単眼深度推定（MDE）により生成された深度マップを用いて、最初の深度ガイド付きカモフラージュオブジェクト検出（COD）フレームワークを提案する。これは、ノイズの多い深度予測を引き起こすドメインギャップを解決することを目的としている。深度マップの精錬のための補助的深度推定ブランチ（ADE）と、RGBおよび深度モダリティの寄与度を動的に重み付けるGANベースの信頼性-aware損失を導入し、生成された深度マップ上で、標準的なRGB-D統合手法よりも顕著に性能を向上させた。

ABSTRACT

Camouflaged object detection (COD) aims to segment camouflaged objects hiding in the environment, which is challenging due to the similar appearance of camouflaged objects and their surroundings. Research in biology suggests depth can provide useful object localization cues for camouflaged object discovery. In this paper, we study the depth contribution for camouflaged object detection, where the depth maps are generated with existing monocular depth estimation (MDE) methods. Due to the domain gap between the MDE dataset and our COD dataset, the generated depth maps are not accurate enough to be directly used. We then introduce two solutions to avoid the noisy depth maps from dominating the training process. Firstly, we present an auxiliary depth estimation branch ("ADE"), aiming to regress the depth maps. We find that "ADE" is especially necessary for our "generated depth" scenario. Secondly, we introduce a multi-modal confidence-aware loss function via a generative adversarial network to weigh the contribution of depth for camouflaged object detection. Our extensive experiments on various camouflaged object detection datasets explain that the existing "sensor depth" based RGB-D segmentation techniques work poorly with "generated depth", and our proposed two solutions work cooperatively, achieving effective depth contribution exploration for camouflaged object detection.

研究の動機と目的

• 外観が周囲と類似しているため、完全に溶け込むように融合するオブジェクトが存在するカモフラージュオブジェクト検出（COD）の挑戦に取り組む。
• 単眼深度推定（MDE）により生成された深度マップが、MDEとCODのデータセット間のドメインギャップがあるにもかかわらず、CODの性能向上に寄与できるかどうかを調査する。
• MDEによるノイズが多く不正確な深度マップが、学習中のモデル性能を低下させる問題を克服する。
• ノイズの多い予測に左右されにくく、深度を効果的に活用するロバストなマルチモーダル学習戦略を開発する。
• 一般化性能の向上を図るため、深度の監視と不確実性-aware学習を組み合わせた新しいフレームワークを提案する。

提案手法

• MDEから生成された深度マップを教師として用い、より精錬された深度マップを回帰する補助的深度推定ブランチ（ADE）を導入し、『生成された深度』のシナリオにおける深度品質を向上させる。
• 生成対話的敵対ネットワーク（GAN）を用いて、RGBおよびRGB-Dブランチの予測信頼性（不確実性）を推定し、信頼性-aware損失の重み付けを可能にする。
• より信頼性の高い予測に高い学習重みを割り当てるマルチモーダル信頼性-aware損失関数を設計し、ノイズの多い深度マップの影響を低減する。
• 早期融合、クロスレベル融合、遅延融合の3つの統合戦略を実装し、深度の有無にかかわらず性能を比較し、提案された構成要素の有効性を検証する。
• ADEブランチにおけるマルチタスク学習により、CODタスクと深度回帰タスクを同時に最適化することで、エンドツーエンドの学習を実現する。
• 不確実性マップ $U_{ ext{rgb}}$ および $U_{ ext{rgbd}}$ を逆信頼性指標として用い、学習中に各モダリティの寄与度を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 ドメインシフトがあるにもかかわらず、単眼深度推定（MDE）により生成された深度マップが、カモフラージュオブジェクト検出性能を効果的に向上させられるか？
• RQ2 従来のセンサ深度ベースのマルチモーダル学習フレームワークは、実際のセンサ深度の代わりに生成された深度マップを用いる場合、性能がどの程度劣化するか？
• RQ3 補助的深度推定ブランチ（ADE）は、生成された深度の設定において、深度マップ品質および下流のCOD性能をどの程度向上させるか？
• RQ4 GANベースの不確実性推定に基づく信頼性-aware損失関数は、ノイズの多い深度予測の悪影響を効果的に低減できるか？
• RQ5 どのような状況で深度がCODを向上させ、逆に不正確な深度推定によって性能を劣化させるのか？

主な発見

• 従来のセンサ深度ベースのマルチモーダル学習フレームワークは、生成された深度マップでは性能が著しく劣り、テストしたすべてのCODデータセットでRGBのみのベースラインモデルよりも性能が悪い。
• 提案された補助的深度推定（ADE）ブランチは、深度マップ品質を顕著に向上させ、特に『生成された深度』のシナリオにおいて極めて重要である。
• GANベースの信頼性-aware損失関数は、不確実な予測に低い重みを割り当てることで、ノイズの多い深度予測の影響を効果的に低減した。
• ADEと信頼性-aware損失の組み合わせにより、優れた性能が得られ、すべてのベンチマークデータセットでRGB-DモデルがRGBのみのモデルを上回った。
• 深度の変動が大きく、またはカモフラージュオブジェクトが支配的である場合、適切に重み付けされない限り、深度は検出を誤導する可能性があり、深度が二面性を持つことが確認された。
• 定性的な結果から、生成された深度マップが元の画像よりもカモフラージュオブジェクトをより明確に強調する場合、深度は検出性能を向上させるが、そうでない場合は性能を劣化させることが示された。