[논문 리뷰] Uncertainty-aware Joint Salient Object and Camouflaged Object Detection

Aixuan Li, Jing Zhang외 4명|arXiv (Cornell University)|2021. 04. 06.

Visual Attention and Saliency Detection참고 문헌 55인용 수 23

한 줄 요약

이 논문은 주목할 만한 객체 검출(SOD)과 은폐된 객체 검출(COD)을 위한 새로운 불확실성 인식 통합 학습 프레임워크를 제안한다. 이는 유사도 측정 모듈과 적대적 학습을 통해 두 작업 간의 모순되는 특성(특성)을 활용하여 신뢰도 추정을 수행한다. 쉽게 검출 가능한 COD 샘플을 SOD의 어려운 양성 샘플로 간주하고, PASCAL VOC를 연결 데이터셋으로 사용함으로써, 여섯 개인 SOD 및 세 개인 COD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 더 뛰어난 강건성과 불확실성 인식 예측을 확보한다.

ABSTRACT

Visual salient object detection (SOD) aims at finding the salient object(s) that attract human attention, while camouflaged object detection (COD) on the contrary intends to discover the camouflaged object(s) that hidden in the surrounding. In this paper, we propose a paradigm of leveraging the contradictory information to enhance the detection ability of both salient object detection and camouflaged object detection. We start by exploiting the easy positive samples in the COD dataset to serve as hard positive samples in the SOD task to improve the robustness of the SOD model. Then, we introduce a similarity measure module to explicitly model the contradicting attributes of these two tasks. Furthermore, considering the uncertainty of labeling in both tasks' datasets, we propose an adversarial learning network to achieve both higher order similarity measure and network confidence estimation. Experimental results on benchmark datasets demonstrate that our solution leads to state-of-the-art (SOTA) performance for both tasks.

연구 동기 및 목표

• 네트워크 아키텍처와 손실 설계만으로는 성능 향상이 제한됨을 고려하여, SOD 및 COD에서 데이터 활용 방식을 재고하는 것.
• 주목할 만한 객체와 은폐된 객체 간의 본질적 모순(높은 주목성은 낮은 은폐성과 상반됨)을 활용하여 양 작업을 동시에 학습함으로써 성능 향상을 도모하는 것.
• COD 데이터셋에서 쉽게 검출 가능한 샘플을 SOD의 어려운 샘플로 재사용함으로써 모델의 강건성을 향상시키고, 특징 학습을 강화하는 것.
• 주관적인 레이블링 모호성과 레이블링 어려움으로 인해 예측 불확실성을 명시적으로 모델링하는 것.
• 외부 데이터셋(PASCAL VOC 2007)을 사용해 유사도 측정 모듈을 통해 SOD와 COD 간의 연결을 구축하고, 서로 다른 주의를 유도하는 것.

제안 방법

• 공통의 특징 인코더를 공유하지만 SOD와 COD에 별도의 예측 디코더를 사용하는 통합 학습 파이프라인을 제안하여 교차 작업 지식 전이를 가능하게 한다.
• SOD와 COD 작업 간의 특징 유사도를 최소화하여 두 작업이 서로 다른 이미지 영역을 활성화하도록 유도하는 '유사도 측정' 모듈을 도입한다.
• SOD와 COD가 서로 다른 이미지 영역에 집중하도록 보장하기 위해 보조 데이터셋으로 PASCAL VOC 2007을 사용하여 작업 간 이질성 모델링을 수행한다.
• 특히 두 작업에서 모호한 레이블링이 발생하는 경우에도 신뢰도 추정과 불확실성 모델링을 위해 적대적 학습 브랜치를 활용한다.
• 완전 컨volutional 판별기와 가중치 손실 함수를 적용하여 불확실성 추정과 주 작업 성능 간의 균형을 확보한다.
• 쉬운 COD 샘플(예: 펌킨 베어)을 SOD의 어려운 양성 샘플로 간주하여 강건성을 향상시키는 데이터 상호작용 전략을 구현한다.

실험 결과

연구 질문

• RQ1 주목할 만한 객체와 은폐된 객체 간의 모순되는 특성을 활용하면 두 작업의 검출 성능 향상에 기여할 수 있는가?
• RQ2 은폐된 객체 검출 데이터셋에서 얻은 쉬운 샘플을 어떻게 효과적으로 주목할 만한 객체 검출의 어려운 샘플로 재사용할 수 있는가?
• RQ3 SOD와 COD 간의 특징 분리(다른 영역에 집중)를 강제하는 유사도 측정 모듈이 일반화 능력과 강건성을 향상시키는가?
• RQ4 적대적 학습이 모호한 레이블링이 있는 SOD 및 COD에서 불확실성 추정을 얼마나 향상시킬 수 있는가?
• RQ5 외부 연결 데이터셋(PASCAL VOC)을 사용한 통합 학습이 개별 작업 학습을 초월해 성능 향상에 기여하는가?

주요 결과

• 제안된 통합 프레임워크는 여섯 개의 SOD 벤치마크 및 세 개의 COD 벤치마크에서 최신 기술 수준 성능을 달성하였으며, COD10K에서 mF-score는 0.943, DUT-ESIM에서 F-measure는 0.894를 기록하였다.
• 유사도 측정 모듈은 COD 성능 향상에 크게 기여하였으며, 특히 COD10K에서 기본 통합 학습 대비 F-measure가 1.0% 향상되었다.
• 불확실성 추정을 위한 적대적 학습은 주 작업 성능 저하 없이 신뢰도 캘리브레이션을 향상시켰으며, 작은 적대적 손실 가중치(λ=0.01)로도 안정적인 결과를 도출하였다.
• COD에서 쉽게 검출 가능한 샘플을 SOD의 어려운 양성 샘플로 재사용함으로써, DUT-ESIM 및 DUT-OMRON과 같은 어려운 SOD 벤치마크에서 성능 향상이 뚜렷하게 관찰되었다.
• SOD와 COD 간의 반복 업데이트 비율(3:1)을 적용한 통합 학습은 더 작은 COD 데이터셋에서의 과적합을 방지하고 수렴성을 향상시켰다.
• DUT-ESIM에서 평균 절대 오차(M)는 0.030, DUT-OMRON에서는 0.029를 기록하여 주목성 예측의 높은 정밀도를 입증하였다.