[논문 리뷰] MFNet: Multi-filter Directive Network for Weakly Supervised Salient Object Detection

Yongri Piao, Jian Wang외 2명|arXiv (Cornell University)|2021. 12. 03.

Visual Attention and Saliency Detection인용 수 9

한 줄 요약

이 논문은 단일 레이블 방법의 편향을 보완하기 위해 다양한 보정 알고리즘에서 유도된 다수의 가짜 레이블을 활용하는 다중 필터 지시 네트워크인 MFNet을 제안한다. 다중 지시 필터를 통해 다중 가이던스 손실을 통해 강력한 사전 시각적 특징을 추출하고 통합함으로써, MFNet은 다섯 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들을 능가하고, MSW와 같은 기존 베이스라인의 경우 $F_{\beta}^\omega$ 기준 최대 9.1% 향상시키는 등 우수한 성능을 보였다.

ABSTRACT

Weakly supervised salient object detection (WSOD) targets to train a CNNs-based saliency network using only low-cost annotations. Existing WSOD methods take various techniques to pursue single "high-quality" pseudo label from low-cost annotations and then develop their saliency networks. Though these methods have achieved good performance, the generated single label is inevitably affected by adopted refinement algorithms and shows prejudiced characteristics which further influence the saliency networks. In this work, we introduce a new multiple-pseudo-label framework to integrate more comprehensive and accurate saliency cues from multiple labels, avoiding the aforementioned problem. Specifically, we propose a multi-filter directive network (MFNet) including a saliency network as well as multiple directive filters. The directive filter (DF) is designed to extract and filter more accurate saliency cues from the noisy pseudo labels. The multiple accurate cues from multiple DFs are then simultaneously propagated to the saliency network with a multi-guidance loss. Extensive experiments on five datasets over four metrics demonstrate that our method outperforms all the existing congeneric methods. Moreover, it is also worth noting that our framework is flexible enough to apply to existing methods and improve their performance.

연구 동기 및 목표

• 약한 지도 학습 기반 주목할 만한 객체 검출(WSOD)에서 단일 가짜 레이블 방법의 한계를 해결하기 위해, 보정 알고리즘의 특성에 기인한 편향을 줄이기 위한 목표.
• 다양한 노이즈가 포함된 가짜 레이블들로부터 종합적이고 정확한 사전 시각적 특징을 통합하여 모델의 강건성을 향상시키기 위한 프레임워크 개발.
• 기존 WSOD 방법에 쉽게 적용할 수 있도록 유연하고 확장 가능한 아키텍처 설계.
• 다양한 보정 전략에서 유도된 상호 보완 정보를 활용하여 단일 고품질 가짜 레이블에 대한 의존도를 줄이기 위한 목표.

제안 방법

• 다양한 가짜 레이블들로부터 사전 시각적 특징을 추출하기 위해 사전 시각 네트워크와 다수의 지시 필터를 갖춘 다중 필터 지시 네트워크(MFNet)를 제안.
• 클래스 활성화 맵에 대해 픽셀 단위와 슈퍼픽셀 단위의 두 가지 별개의 보정 알고리즘을 적용하여 상호 보완적인 두 개의 가짜 레이블 생성.
• 지시 필터를 활용해 각 노이즈가 포함된 가짜 레이블로부터 정확한 사전 시각적 특징을 필터링하고 추출함으로써 노이즈와 불완전한 예측을 감소.
• 다양한 지시 필터에서 필터링된 특징을 동시에 사전 시각 디코더로 전달하기 위해 다중 가이던스 손실 도입.
• 가능한 한 일관된 지시와 특징 통합을 유도하기 위해 지시 필터 간에 학습 가능한 초매개변수 δ를 활용한 자기지도 학습 전략 적용.
• 기존 WSOD 방법의 단일 가짜 레이블 헤드를 다중 가짜 레이블 프레임워크로 교체함으로써 기존 방법에 쉽게 확장 가능하도록 설계.

실험 결과

연구 질문

• RQ1 다양한 보정 전략에서 도출된 다수의 가짜 레이블을 통합함으로써 약한 지도 학습 기반 주목할 만한 객체 검출의 강건성과 정확도를 향상시킬 수 있는가?
• RQ2 노이즈가 포함된 다수의 가짜 레이블을 효과적으로 필터링하고 통합하여 더 종합적이고 정확한 사전 시각적 특징을 추출할 수 있는가?
• RQ3 다양한 가짜 레이블들로부터 상호 보완적이면서도 일관된 사전 시각적 특징을 학습하기 위한 최적의 지시 필터 가이던스 전략은 무엇인가?
• RQ4 제안된 프레임워크는 아키텍처의 대대적 개편 없이도 기존 WSOD 방법의 성능 향상에 일반화 적용이 가능한가?
• RQ5 지시 필터 간 자기지도 메커니즘이 성능과 수렴 속도에 미치는 영향은 어떠한가?

주요 결과

• MFNet은 ECSSD, DUTS-Test, HKU-IS, PASCAL-S, DUT-OMRON 등 다섯 가지 벤치마크 데이터셋에서 $F_{\beta}^\omega$, $F_{\beta}$, $M$, MAE 등 네 가지 메트릭에서 최신 기술 수준 성능을 달성하였다.
• 제안된 프레임워크를 적용했을 때, ECSSD 데이터셋에서 기존 MSW 방법의 $F_{\beta}^\omega$ 메트릭 성능이 최대 9.1% 향상되었다.
• 절단 분석 결과, 단일 레이블 기반 베이스라인 대비 다수의 가짜 레이블과 다중 가이던스 손실을 사용할 경우 성능 향상이 뚜렷하게 확인되었다.
• 최적의 자기지도 초매개변수 δ = 2가 가장 우수한 성능을 보였으며, 이는 지시 필터 간 유사성을 유도함으로써 특징 통합이 향상됨을 시사한다.
• 시각적 분석 결과, 복잡한 배경이나 부분적으로 드러난 객체가 있는 도전적인 장면에서도 MFNet이 더 완전하고 정확한 사전 시각 맵을 생성함을 확인하였다.
• 프레임워크는 매우 유연하며, 단지 지시 필터를 추가함으로써 다른 WSOD 방법에 쉽게 확장 가능함을 입증하여 강력한 일반화 능력과 모odu lar성(모듈성)을 보였다.