[논문 리뷰] Salient Object Detection via Integrity Learning

Mingchen Zhuge, Deng-Ping Fan외 4명|arXiv (Cornell University)|2021. 01. 19.

Visual Attention and Saliency Detection인용 수 22

한 줄 요약

이 논문은 다양한 특징 집합, 통합 채널 강화, 그리고 부분-전체 검증을 통해 미세 및 거시 수준의 통합성을 향상시키는 새로운 눈에 띄는 객체 검출 네트워크인 ICON을 제안한다. 이는 여섯 개의 벤치마크에서 평균 거짓 음성 비율에 약 10%의 상대적 향상을 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Although current salient object detection (SOD) works have achieved significant progress, they are limited when it comes to the integrity of the predicted salient regions. We define the concept of integrity at both a micro and macro level. Specifically, at the micro level, the model should highlight all parts that belong to a certain salient object. Meanwhile, at the macro level, the model needs to discover all salient objects in a given image. To facilitate integrity learning for SOD, we design a novel Integrity Cognition Network (ICON), which explores three important components for learning strong integrity features. 1) Unlike existing models, which focus more on feature discriminability, we introduce a diverse feature aggregation (DFA) component to aggregate features with various receptive fields (i.e., kernel shape and context) and increase feature diversity. Such diversity is the foundation for mining the integral salient objects. 2) Based on the DFA features, we introduce an integrity channel enhancement (ICE) component with the goal of enhancing feature channels that highlight the integral salient objects, while suppressing the other distracting ones. 3) After extracting the enhanced features, the part-whole verification (PWV) method is employed to determine whether the part and whole object features have strong agreement. Such part-whole agreements can further improve the micro-level integrity for each salient object. To demonstrate the effectiveness of our ICON, comprehensive experiments are conducted on seven challenging benchmarks. Our ICON outperforms the baseline methods in terms of a wide range of metrics. Notably, our ICON achieves about 10% relative improvement over the previous best model in terms of average false negative ratio (FNR), on six datasets. Codes and results are available at: https://github.com/mczhuge/ICON.

연구 동기 및 목표

• 현재 눈에 띄는 객체 검출(SOD) 모델들이 미세 수준(완전한 객체 부분)과 거시 수준(이미지 내 모든 눈에 띄는 객체)에서 객체의 통합성을 유지하지 못하는 한계를 해결한다.
• 특징 다양성과 부분-전체 일관성을 명시적으로 모델링하여 예측의 불완전성 또는 분할 현상을 해결한다.
• 통합 인식 메커니즘을 통해 특징의 구분 능력을 향상시키는 통합 프레임워크를 도입함으로써 SOD 성능을 향상시킨다.
• 일곱 개인 표준 데이터셋에서의 광범위한 추론 및 벤치마크를 통해 통합 학습의 효과를 입증한다.

제안 방법

• 다양한 수신장(커널 형상과 맥락)을 가진 특징을 통합하기 위해 Diverse Feature Aggregation(DFA) 모듈을 도입하여 특징 다양성을 증가시켜 더 나은 객체 커버리지를 확보한다.
• 완전한 눈에 띄는 객체를 나타내는 특징 채널은 선택적으로 강화하고 잡음이나 관련 없는 채널은 억제하는 Integrity Channel Enhancement(ICE) 모듈을 제안한다.
• 국소적 부분 특징과 전반적 전체 객체 특징 간의 일치를 검증하여 미세 수준의 통합성을 보장하기 위해 Part-Whole Verification(PWV) 모듈을 설계한다.
• PWV에서 일치 기반으로 특징을 동적으로 라우팅하기 위해 전자기(EM) 라우팅 메커니즘을 활용하여 강건성과 일관성을 향상시킨다.
• 예측된 결과와 진짜 라벨 간의 일치를 장려하기 위해 일련의 일관성 유지 정규화(CPR) 손실을 사용하여 모델을 훈련시킨다.
• 모든 구성 요소를 통합하여 눈에 띄는 특성 예측을 위한 엔드 투 엔드 아키텍처인 I ntegrity C ognition N etwork(ICON)을 구성한다.

실험 결과

연구 질문

• RQ1 완전한 객체 부분이 검출되도록 미세 수준의 통합성에 명시적인 모델링을 적용하면 SOD 성능 향상에 기여할 수 있는가?
• RQ2 특징 수준의 메커니즘을 통해 이미지 내 모든 눈에 띄는 객체를 효과적으로 검출하는 거시 수준의 통합성을 학습할 수 있는가?
• RQ3 특징 다양성과 부분-전체 일관성 향상이 더 강건하고 완전한 눈에 띄는 특성 예측을 이끌 수 있는가?
• RQ4 제안된 구성 요소(DFA, ICE, PWV)가 표준 벤치마크에서 성능 향상에 개별적으로 및 종합적으로 기여하는 방식은 어떠한가?

주요 결과

• ICON은 여섯 개의 일곱 벤치마크 데이터셋 중에서 이전 최고 성능 모델 대비 평균 거짓 음성 비율(FNR)에 약 10%의 상대적 향상을 기록한다.
• 추론 분석 결과, DFA, ICE, PWV 세 구성 요소 모두 성능 향상에 기여하며, 전체 모델은 모든 메트릭에서 추론된 변형보다 뛰어난 성능을 보인다.
• CPR 손실은 일반 BCE 손실보다 더 나은 일반화 및 일관성을 이끌어내어 모든 평가 지표에서 슈퍼리어한 성능을 기록한다.
• PWV에서 EM 라우팅은 동적 라우팅(DR)과 자기 라우팅(SR)보다 뛰어난 성능을 보이며, 일치 기반 라우팅의 중요성을 입증한다.
• ICE 모듈은 SE, CBAM, GCT와 같은 표준 주의 메커니즘보다 뛰어난 성능을 보이며, 통합 인식 특징을 향상시키는 효과를 입증한다.
• ICON은 OMRON, HKU-IS, DUTS-TE 포함 일곱 개의 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, $S_m$, $E_ heta^m$, $F_eta^w$, 및 $M$에서 일관된 성능 향상을 기록했다.