[논문 리뷰] Zoom In and Out: A Mixed-scale Triplet Network for Camouflaged Object Detection

Pang Youwei, Zhao Xiaoqi외 3명|arXiv (Cornell University)|2022. 03. 05.

Visual Attention and Saliency Detection인용 수 7

한 줄 요약

이 논문은 인간의 줌인 및 줌아웃 행동을 모방하여 다중 척도 간 특징 학습을 향상시키는 혼합 척도 트리플릿 네트워크인 ZoomNet을 제안한다. 척도 통합 유닛과 계층적 혼합 척도 유닛을 통해 척도별 특징을 통합하고, 예측 신뢰도를 향상시키기 위해 불확실성 인식 손실을 적용함으로써 ZoomNet은 네 개의 공개 COD 데이터셋에서 최신 기술 수준의 성능을 달성하며, 주목할 만한 객체 검출로의 일반화 능력도 뛰어나다.

ABSTRACT

The recently proposed camouflaged object detection (COD) attempts to segment objects that are visually blended into their surroundings, which is extremely complex and difficult in real-world scenarios. Apart from high intrinsic similarity between the camouflaged objects and their background, the objects are usually diverse in scale, fuzzy in appearance, and even severely occluded. To deal with these problems, we propose a mixed-scale triplet network, extbf{ZoomNet}, which mimics the behavior of humans when observing vague images, i.e., zooming in and out. Specifically, our ZoomNet employs the zoom strategy to learn the discriminative mixed-scale semantics by the designed scale integration unit and hierarchical mixed-scale unit, which fully explores imperceptible clues between the candidate objects and background surroundings. Moreover, considering the uncertainty and ambiguity derived from indistinguishable textures, we construct a simple yet effective regularization constraint, uncertainty-aware loss, to promote the model to accurately produce predictions with higher confidence in candidate regions. Without bells and whistles, our proposed highly task-friendly model consistently surpasses the existing 23 state-of-the-art methods on four public datasets. Besides, the superior performance over the recent cutting-edge models on the SOD task also verifies the effectiveness and generality of our model. The code will be available at \url{https://github.com/lartpang/ZoomNet}.

연구 동기 및 목표

• 배경과 시각적으로 유사하여 식별이 어려우며 체적 변화가 크고 종종 가려져 있는 숨겨진 객체를 탐지하는 데 도전하는 것.
• 배경의 혼잡함과 낮은 대비성으로 인해 기존 모델이 미세한 의미적 단서를 구분하는 데 어려움을 겪는 문제를 해결하는 것.
• 모호하거나 낮은 신뢰도 영역에서의 불확실성을 줄여 예측의 신뢰도를 향상시키는 것.
• 숨겨진 객체 검출을 넘어 더 넓은 주목할 만한 객체 검출 작업으로도 잘 일반화되는 모델을 개발하는 것.

제안 방법

• 입력 이미지를 다중 척도에서 처리하여 인간의 줌 인/아웃 행동을 시뮬레이션하는 혼합 척도 트리플릿 네트워크(ZoomNet)를 제안한다.
• 각 척도의 특징이 구분 능력에 따라 선택적으로 걸러지고 집계되도록 척도 통합 유닛(SIUs)을 설계한다.
• 다중 척도 특징을 교차 척도 상호작용을 통해 재구성하고 향상시키기 위해 계층적 혼합 척도 유닛(HMUs)을 도입한다.
• 정답 데이터에 종속되지 않는 새로운 불확실성 인식 손실(UAL)을 적용하여, 불확실한 영역에서 모델이 확신 있는 예측을 하도록 유도한다.
• 효율성을 유지하면서 효과적인 다중 척도 특징 학습을 가능하게 하기 위해 척도 간 공유 가중치를 사용한다.
• 정확도와 예측의 신뢰도를 동시에 최적화하기 위해 불확실성 인식 손실를 이진 교차 엔트로피 손실(BCE)과 결합한다.

실험 결과

연구 질문

• RQ1 시각적 단서가 극히 적은 숨겨진 객체를 탐지하기 위해 다중 척도 특징 학습을 어떻게 효과적으로 활용할 수 있는가?
• RQ2 인간의 줌 행동을 모방함으로써 혼잡한 환경에서 특징 표현을 향상시킬 수 있는가?
• RQ3 모델의 불확실성을 모호한 영역에서 명시적으로 모델링하고 훈련 중에 줄일 수 있는가?
• RQ4 제안된 아키텍처가 숨겨진 객체 검출을 넘어 다른 주목할 만한 객체 검출 작업으로도 일반화되는가?
• RQ5 불확실성 인식 손실이 예측 신뢰도와 전체 탐지 성능에 미치는 영향은 무엇인가?

주요 결과

• ZoomNet은 네 개의 공개 숨겨진 객체 검출 데이터셋에서 기존 23종의 최신 기술 수준 모델을 모두 능가하는 최신 기술 수준의 성능을 달성한다.
• DUT-OMRON 데이터셋에서 ZoomNet은 F-측정값 0.933과 평균 F-측정값 0.923을 기록하여 비교된 모든 방법을 초월한다.
• 모델는 강력한 일반화 능력을 보이며, DUTS와 Pascal-S를 포함한 다섯 개인 표준 주목할 만한 객체 검출 벤치마크에서 최신 기술 수준의 결과를 달성한다.
• 불확실성 인식 손실은 특히 모호하거나 저대비 영역에서 예측의 신뢰도를 크게 향상시키며, 정성적 및 정량적 분석을 통해 검증되었다.
• 성능 향상에도 불구하고, 명시적인 다중 척도 처리 구조로 인해 가장 빠른 기존 방법인 C2FNet보다 약간 느린 추론 속도를 보인다.
• 제거 실험 결과, SIU 및 HMU 구성 요소가 성능 향상에 기여하며, 불확실성 인식 손실이 곤란한 상황에서의 강인성을 향상시킨다.