[論文レビュー] Zoom In and Out: A Mixed-scale Triplet Network for Camouflaged Object Detection

Pang Youwei, Zhao Xiaoqi+3 more|arXiv (Cornell University)|Mar 5, 2022

Visual Attention and Saliency Detection被引用数 7

ひとこと要約

本論文では、人間のズームイン・ズームアウト行動を模倣することで複数スケールにわたる特徴抽出を向上させる、混合スケールトリプレットネットワークであるZoomNetを提案する。スケール統合ユニットと階層的混合スケールユニットを用いてスケール固有の特徴を統合し、不確実性を考慮した損失関数を適用することで予測の信頼性を向上させた。ZoomNetは4つの公開CODデータセットで最先端の性能を達成し、顕著オブジェクト検出への一般化性も高い。

ABSTRACT

The recently proposed camouflaged object detection (COD) attempts to segment objects that are visually blended into their surroundings, which is extremely complex and difficult in real-world scenarios. Apart from high intrinsic similarity between the camouflaged objects and their background, the objects are usually diverse in scale, fuzzy in appearance, and even severely occluded. To deal with these problems, we propose a mixed-scale triplet network, extbf{ZoomNet}, which mimics the behavior of humans when observing vague images, i.e., zooming in and out. Specifically, our ZoomNet employs the zoom strategy to learn the discriminative mixed-scale semantics by the designed scale integration unit and hierarchical mixed-scale unit, which fully explores imperceptible clues between the candidate objects and background surroundings. Moreover, considering the uncertainty and ambiguity derived from indistinguishable textures, we construct a simple yet effective regularization constraint, uncertainty-aware loss, to promote the model to accurately produce predictions with higher confidence in candidate regions. Without bells and whistles, our proposed highly task-friendly model consistently surpasses the existing 23 state-of-the-art methods on four public datasets. Besides, the superior performance over the recent cutting-edge models on the SOD task also verifies the effectiveness and generality of our model. The code will be available at \url{https://github.com/lartpang/ZoomNet}.

研究の動機と目的

• 背景と視覚的に類似しており、スケールが変動しやすく、しばしば隠蔽されているため、カモフラージュオブジェクトを検出する課題に対処する。
• 背景のごみや低コントラストな外観のため、従来のモデルが微細な意味的手がかりを区別できないという限界を克服する。
• 曖昧または低信頼度領域における不確実性を低減することで、予測の信頼性を向上させる。
• カモフラージュオブジェクト検出をはるかに超えて、より広範な顕著オブジェクト検出タスクにも一般化できるモデルを開発する。

提案手法

• 入力画像を複数スケールで処理することで、人間のズームイン・ズームアウト行動を模倣する混合スケールトリプレットネットワーク（ZoomNet）を提案する。
• スケール統合ユニット（SIUs）を設計し、各スケールの特徴量の識別可能性に基づいて、特徴を的確にスクリーニング・統合する。
• 階層的混合スケールユニット（HMUs）を導入し、スケール間の相互作用を通じて多スケール特徴を再編集・強化する。
• 真値に依存しない不確実性を考慮した損失関数（UAL）を提案し、不確実領域での予測の信頼性を高めるようにモデルを促進する。
• スケール間で重みを共有することで、効率を維持しながら効果的な多スケール特徴抽出を実現する。
• 不確実性を考慮した損失とバイナリクロスエントロピー損失（BCE）を併用し、精度と予測の信頼性の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 最小限の視覚的手がかりを持つカモフラージュオブジェクトを効果的に検出するため、多スケール特徴抽出をどのように活用できるか？
• RQ2 人間のズーム行動を模倣することで、ごみが多く複雑なシーンにおける特徴表現が向上するか？
• RQ3 曖昧な領域におけるモデルの不確実性を、トレーニング中に明示的にモデル化・低減できるか？
• RQ4 提案されたアーキテクチャは、カモフラージュオブジェクト検出をはるかに超えて、他の顕著オブジェクト検出タスクにも一般化できるか？
• RQ5 不確実性を考慮した損失が、予測の信頼性と全体的な検出性能に与える影響は何か？

主な発見

• ZoomNetは4つの公開カモフラージュオブジェクト検出データセットで最先端の性能を達成し、23の既存SOTA手法を上回った。
• DUT-OMRONデータセットではF-measureが0.933、平均F-measureが0.923を達成し、比較対象の全手法を上回った。
• モデルは顕著な一般化性能を示し、DUTSやPascal-Sを含む5つの標準的な顕著オブジェクト検出ベンチマークでも最先端の結果を達成した。
• 不確実性を考慮した損失は、特に曖昧でコントラストが低い領域において予測の信頼性を顕著に向上させたことが、定性的および定量的分析で裏付けられた。
• 性能向上の一方で、明示的な多スケール処理構造のため、最も高速な既存手法C2FNetに比べて推論速度はわずかに遅い。
• アブレーションスタディにより、SIUおよびHMUの両コンponentsが性能向上に顕著な寄与を示し、不確実性を考慮した損失が困難な状況下でのロバストネスを向上させたことが確認された。