[論文レビュー] High-resolution Iterative Feedback Network for Camouflaged Object Detection

Xiaobin Hu, Wang, Shuo+6 more|arXiv (Cornell University)|Mar 22, 2022

Visual Attention and Saliency Detection被引用数 13

ひとこと要約

この論文では、マルチスケールの高分解能事前知識を用いて、適応的で反復的なフィードバック機構を通じて低分解能特徴を精緻化する高分解能反復フィードバックネットワーク、HitNetを提案する。4つの camouflage object detectionベンチマークで最先端の性能を達成し、クロスドメインデータ拡張によりFβ^wスコアが0.806に、MAEが4.2%低減された。

ABSTRACT

Spotting camouflaged objects that are visually assimilated into the background is tricky for both object detection algorithms and humans who are usually confused or cheated by the perfectly intrinsic similarities between the foreground objects and the background surroundings. To tackle this challenge, we aim to extract the high-resolution texture details to avoid the detail degradation that causes blurred vision in edges and boundaries. We introduce a novel HitNet to refine the low-resolution representations by high-resolution features in an iterative feedback manner, essentially a global loop-based connection among the multi-scale resolutions. In addition, an iterative feedback loss is proposed to impose more constraints on each feedback connection. Extensive experiments on four challenging datasets demonstrate that our \ourmodel~breaks the performance bottleneck and achieves significant improvements compared with 29 state-of-the-art methods. To address the data scarcity in camouflaged scenarios, we provide an application example by employing cross-domain learning to extract the features that can reflect the camouflaged object properties and embed the features into salient objects, thereby generating more camouflaged training samples from the diverse salient object datasets The code will be available at https://github.com/HUuxiaobin/HitNet.

研究の動機と目的

• 深層ネットワークにおけるダウンサンプリングによる、エッジやテクスチャなどの細部の劣化を緩和すること。
• 既存手法が特徴抽出中に高分解能情報を無視するという制限を克服すること。
• 複数スケールの高分解能特徴を用いて、反復的に低分解能特徴を精緻化するメカニズムを開発すること。
• 構造的詳細の保持と境界検出の強化により、困難なデータセットにおける性能を向上させること。
• クロスドメイン学習を用いて顕著オブジェクトデータセットから現実的なトレーニングサンプルを生成することで、camouflaged object detectionにおけるデータ不足を緩和すること。

提案手法

• 特徴抽出のためのバックボーンとしてピラミッドビジョントランスフォーマー（PVT）を採用し、段階的な空間的縮小とマルチスケール表現を可能にする。
• グローバルかつスケール間のフィードバックを用いて、低分解能特徴を再帰的に精緻化するマルチスケール反復精緻化（RIR）モジュールを設計する。
• フィードバックフローへの制約を課すことで特徴集約と安定性を向上させる反復特徴フィードバック（IFF）メカニズムを導入する。
• 各フィードバック段階での強化された監視を実現するため、反復的フィードバック損失を提案する。
• 顕著オブジェクトをcamouflagedなものに変換するためのクロスドメイン学習（CDL）戦略を提案する。対照的インデックスを用いて低品質な変換をフィルタリングする。
• 対照的インデックス $ I_{sc} = \frac{1}{\text{Num}} \sum_{i} \|P_i - P_m\| $ を用い、$ P_m $ は平均強度、$ P_{\text{std}} $ は外れ値を除いたものとする。このインデックスにより、高 camouflage 水平の例を抽出する。

実験結果

リサーチクエスチョン

• RQ1 高分解能と低分解能特徴間の反復的フィードバックは、camouflagedオブジェクトにおける細粒度のエッジやテクスチャ検出を顕著に改善できるか？
• RQ2 低分解能特徴に高分解能事前知識を統合することで、セグメンテーションにおける境界局所化と構造的一致性にどのような影響を与えるか？
• RQ3 顕著オブジェクトデータセットからのクロスドメイン学習は、camouflaged object detectionモデルの一般化性能と多様性をどの程度向上させられるか？
• RQ4 反復的フィードバック機構は、フィードバックイタレーション数を増加させた場合に、性能向上と計算コストのバランスにどのような影響を与えるか？
• RQ5 対照的インデックスは、データ拡張中に低品質な合成camouflagedサンプルを効果的に同定・フィルタリングできるか？

主な発見

• HitNetはCOD10k-Testデータセットで重み付きF-measure 0.806を達成し、29の最先端手法を上回った。
• 提案されたCDL戦略を用いることで、$ S_{\alpha} $ は0.868（ベースライン）から0.871に、$ E_{\phi} $ は0.932から0.935に向上した。
• クロスドメイン学習（CDL）手法により、生の顕著オブジェクトデータで学習した場合と比較してMAEが4.2%低減された。
• 生の顕著オブジェクトデータでのみ学習すると、$ S_{\alpha} $ は0.868から0.844に、$ E_{\phi} $ は0.932から0.911に低下し、適切な拡張がなければ負の転送が生じることを示した。
• 反復的フィードバック機構により、4イタレーションまで性能向上が見られたが、以降は増加した推論時間にもかかわらず、上昇が止まった。
• 複雑なトポロジーを持つコアラムなど、密で細粒度の構造を扱えない失敗事例は、長距離エッジモデリングにおける改善の余地を示唆している。