[論文レビュー] Advances in Deep Concealed Scene Understanding

Deng-Ping Fan, Ge-Peng Ji+4 more|arXiv (Cornell University)|Apr 21, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、隠れたシーン理解（CSU）のための深層学習手法に関する包括的かつ最初のサーベイを提示し、隠れた物体セグメンテーション（COS）のための新しいベンチマークと、隠れた欠陥セグメンテーションのための最大規模の産業スケールデータセットCDS2Kを導入している。実世界の産業応用事例において最先端モデルを評価した結果、顕著なドメインギャップが明らかになり、一般化、データ不足、意味理解に関する主要な課題が特定された。

ABSTRACT

Concealed scene understanding (CSU) is a hot computer vision topic aiming to perceive objects exhibiting camouflage. The current boom in terms of techniques and applications warrants an up-to-date survey. This can help researchers to better understand the global CSU field, including both current achievements and remaining challenges. This paper makes four contributions: (1) For the first time, we present a comprehensive survey of deep learning techniques aimed at CSU, including a taxonomy, task-specific challenges, and ongoing developments. (2) To allow for an authoritative quantification of the state-of-the-art, we offer the largest and latest benchmark for concealed object segmentation (COS). (3) To evaluate the generalizability of deep CSU in practical scenarios, we collect the largest concealed defect segmentation dataset termed CDS2K with the hard cases from diversified industrial scenarios, on which we construct a comprehensive benchmark. (4) We discuss open problems and potential research directions for CSU. Our code and datasets are available at https://github.com/DengPingFan/CSU, which will be updated continuously to watch and summarize the advancements in this rapidly evolving field.

研究の動機と目的

• 隠れたシーン理解（CSU）における深層学習技術について、体系的かつ最新のサーベイを提供すること。分類体系、課題、最近の進展をカバーする。
• 最先端の手法同士を権威的かつ定量的に比較できる、最大規模かつ最新の隠れた物体セグメンテーション（COS）のベンチマークを確立すること。
• 多様な産業的状況からの困難なケースを含む、CDS2Kデータセットを収集・構造化し、深層CSUモデルの実世界における一般化可能性を評価すること。
• CSUにおける未解決問題を特定し、将来的な研究方向を提案すること。特に、モデルの一般化、データ効率、意味理解の分野に焦点を当てる。

提案手法

• 5つの画像レベル（COS, COL, CIR, CIS, COC）と2つの動画レベル（VCOD, VCOS）の合計7つのコアCSUタスクの分類体系を提案。形式的定式化とアノテーションの可視化を併記。
• 最新で最も包括的な評価プロトコルを用いて、COSのための新しい大規模ベンチマークを導入。複数のデータセットとメトリクスを統合。
• 実際の産業的欠陥状況から得たカテゴリラベル、バウンディングボックス、ピクセル単位のセグメンテーションマスクを含む、2,492件のサンプルを有するCDS2Kデータセットを収集・再構築。
• CDS2K上でゼロショット評価を実施するため、最先端のCOSモデル（SINetV2, DGNet, CamoFormer-P, HitNet）を採用し、ドメイン間一般化性能を評価。
• ドメイン間での性能ギャップを分析。特に自然画像と産業的欠陥データの間で顕著な限界が明らかになった。
• モデルのロバストネスと一般化性能を評価するフレームワークを提案。特に、 camouflage の度合いの違いを考慮したより良いメトリクスの必要性を強調。

Figure 1: Sample gallery of concealed scenarios. (a-d) show natural animals selected from [ 19 ] . (e) depicts a concealed human in art from [ 20 ] . (f) features a synthesized “lion” by [ 21 ] .

実験結果

リサーチクエスチョン

• RQ1 深層学習技術は、隠れたシーン理解（CSU）分野においてどのように体系的に分類・評価できるか？
• RQ2 隠れた物体セグメンテーション（COS）における主な課題は何か。また、タスクやドメインによってどのように異なるか？
• RQ3 現在の最先端COSモデルは、CDS2Kデータセットに記録された実世界の産業的欠陥状況にどの程度一般化できるか？
• RQ4 既存のデータセット、評価メトリクス、モデルアーキテクチャにどのようなギャップがあり、CSU分野の進展を妨げているか？
• RQ5 将来的なCSUモデルは、視覚的外観を越えて意味理解を向上させるために、どのように高レベルの意味的知識、ビジョン・ランゲージ理解、オブジェクト相互作用モデリングを統合すべきか？

主な発見

• CDS2Kデータセットには、人間がアノテートしたカテゴリ、バウンディングボックス、ピクセル単位のセグメンテーションマスクを有する2,492件のサンプルが含まれており、多様な産業的状況からの困難なケースを反映している。
• CDS2Kのカテゴリ間で平均される欠陥領域の割合は低く、大部分の欠陥が小さく検出が困難であることを示している。
• 最先端のCOSモデル（SINetV2, DGNet, CamoFormer-P, HitNet）はCDS2Kで著しく低い性能を示しており、自然画像と産業的欠陥データの間で顕著なドメインギャップが存在することが判明した。
• トランスフォーマー基盤およびConvNext基盤のモデル（例：CamoFormer-P）が他のアーキテクチャを上回り、COSベンチマークで最大mIoUスコア0.596を達成した。
• 現在の評価メトリクスは、 camouflage の度合いの違いを考慮していないため、不平等な比較を引き起こし、モデル評価の進展を制限している。
• 次世代の隠れたシーン認識を進めるために、高レベルの意味的知識、ビジョン・ランゲージ理解、オブジェクト相互作用モデリングを統合するモデルの開発が極めて重要である。

Figure 2: Illustration of the representative CSU tasks. Five of these are image-level tasks: (a) concealed object segmentation (COS), (b) concealed object localization (COL), (c) concealed instance ranking (CIR), (d) concealed instance segmentation (CIS), and (e) concealed object counting (COC). The