[논문 리뷰] Advances in Deep Concealed Scene Understanding

Deng-Ping Fan, Ge-Peng Ji외 4명|arXiv (Cornell University)|2023. 04. 21.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 은폐된 시나리오 이해(CSU)를 위한 딥러닝 기법에 대한 최초의 종합적 설문 조사이며, 은폐된 물체 분할(COS)을 위한 새로운 벤치마크와 산업 규모의 가장 큰 데이터셋인 CDS2K를 소개한다. 실제 산업 사례에서 최신 기술 모델을 평가하여 심각한 도메인 갭을 드러내며, 일반화, 데이터 부족, 의미 이해와 관련된 핵심 과제를 규명한다.

ABSTRACT

Concealed scene understanding (CSU) is a hot computer vision topic aiming to perceive objects exhibiting camouflage. The current boom in terms of techniques and applications warrants an up-to-date survey. This can help researchers to better understand the global CSU field, including both current achievements and remaining challenges. This paper makes four contributions: (1) For the first time, we present a comprehensive survey of deep learning techniques aimed at CSU, including a taxonomy, task-specific challenges, and ongoing developments. (2) To allow for an authoritative quantification of the state-of-the-art, we offer the largest and latest benchmark for concealed object segmentation (COS). (3) To evaluate the generalizability of deep CSU in practical scenarios, we collect the largest concealed defect segmentation dataset termed CDS2K with the hard cases from diversified industrial scenarios, on which we construct a comprehensive benchmark. (4) We discuss open problems and potential research directions for CSU. Our code and datasets are available at https://github.com/DengPingFan/CSU, which will be updated continuously to watch and summarize the advancements in this rapidly evolving field.

연구 동기 및 목표

• 은폐된 시나리오 이해(CSU) 분야의 딥러닝 기법에 대해 체계적이고 최신의 설문 조사를 제공함으로써 분류 체계, 과제, 최근의 발전을 포함한다.
• 최신 기술 모델 간의 권위 있고 정량적인 비교를 가능하게 하기 위해 은폐된 물체 분할(COS)을 위한 가장 크고 최신의 벤치마크를 확립한다.
• 다양한 산업 환경에서 유래한 어려운 케이스를 포함하는 CDS2K 데이터셋을 수집하고 체계화하여 딥 CSU 모델의 실제 세계 일반화 능력을 평가한다.
• CSU 분야의 열린 문제를 규명하고 향후 연구 방향을 제안하며, 특히 모델 일반화, 데이터 효율성, 의미 이해 측면에서 중점을 둔다.

제안 방법

• 다섯 가지 이미지 수준(COS, COL, CIR, CIS, COC)과 두 가지 비디오 수준(VCOD, VCOS) 작업을 포함하는 일곱 가지 핵심 CSU 작업의 분류 체계를 제안하며, 공식적 수식과 애너테이션 시각화를 제공한다.
• 최신이고 가장 포괄적인 평가 프로토콜을 적용하여 COS를 위한 새로운 대규모 벤치마크를 도입하며, 여러 데이터셋과 평가 지표를 통합한다.
• 실제 산업 결함 시나리오에서 유래한 카테고리 레이블, 바운딩 박스, 픽셀 수준 분할 마스크를 포함한 총 2,492개 샘플(양성 1,330개, 음성 1,162개)으로 구성된 CDS2K 데이터셋을 수집하고 재구조화한다.
• CDS2K에서 CDS2K에 대한 제로샷 평가를 위해 최신 COS 모델(SINetV2, DGNet, CamoFormer-P, HitNet)을 활용하여 도메인 간 일반화 능력을 평가한다.
• 특히 자연 풍경 데이터와 산업 결함 데이터 간의 성능 격차를 분석하여 현재 모델의 한계를 드러낸다.
• 모델의 강건성과 일반화 능력을 평가하기 위한 프레임워크를 제안하며, 다양한 은폐 정도를 고려한 보다 나은 평가 지표의 필요성을 강조한다.

Figure 1: Sample gallery of concealed scenarios. (a-d) show natural animals selected from [ 19 ] . (e) depicts a concealed human in art from [ 20 ] . (f) features a synthesized “lion” by [ 21 ] .

실험 결과

연구 질문

• RQ1 딥러닝 기법은 은폐된 시나리오 이해(CSU) 분야 내에서 어떻게 체계적으로 분류되고 평가될 수 있는가?
• RQ2 은폐된 물체 분할(COS)에서의 핵심 과제는 무엇이며, 이는 작업과 도메인 간에 어떻게 다를 수 있는가?
• RQ3 현재 최신 기술 COS 모델들이 CDS2K 데이터셋에 담긴 실제 산업 결함 시나리오에 얼마나 잘 일반화되는가?
• RQ4 기존 데이터셋, 평가 지표, 모델 아키텍처에서 CSU 발전을 저해하는 주요 격차는 무엇인가?
• RQ5 향후 CSU 모델은 어떻게 의미 이해와 비전-언어 지식을 통합하여 시각적 외관을 초월한 인식 능력을 향상시킬 수 있는가?

주요 결과

• CDS2K 데이터셋은 인간이 애너테이션한 카테고리, 바운딩 박스, 픽셀 수준 분할 마스크를 포함한 총 2,492개 샘플을 포함하며, 다양한 산업 환경에서 유래한 어려운 케이스를 반영한다.
• CDS2K 카테고리 간 평균 결함 영역 비율은 낮아, 대부분의 결함이 작고 탐지하기 어려운 것으로 나타났다.
• 최신 기술 COS 모델(SINetV2, DGNet, CamoFormer-P, HitNet)은 CDS2K에서 빈약한 성능을 보이며, 자연 풍경 데이터와 산업 결함 데이터 간의 심각한 도메인 갭을 시사한다.
• Transformer 기반 및 ConvNext 기반 모델(e.g., CamoFormer-P)이 다른 아키텍처보다 우수한 성능을 보이며, COS 벤치마크에서 최대 mIoU 점수 0.596를 기록했다.
• 현재 평가 지표는 다양한 은폐 정도를 고려하지 못해 공정하지 못한 비교를 초래하고 있으며, 모델 평가의 진전을 제한하고 있다.
• 고수준 의미 이해, 비전-언어 이해, 객체 상호작용 모델링을 통합한 모델의 필요성이 절실하며, 이는 차세대 은폐된 시나리오 인식 기술의 발전을 이끌 것이다.

Figure 2: Illustration of the representative CSU tasks. Five of these are image-level tasks: (a) concealed object segmentation (COS), (b) concealed object localization (COL), (c) concealed instance ranking (CIR), (d) concealed instance segmentation (CIS), and (e) concealed object counting (COC). The