[논문 리뷰] CoADNet: Collaborative Aggregation-and-Distribution Networks for Co-Salient Object Detection

Qijian Zhang, Runmin Cong외 3명|arXiv (Cornell University)|2020. 11. 09.

Visual Attention and Saliency Detection참고 문헌 54인용 수 31

한 줄 요약

CoADNet은 온라인 내부 주의 가이던스를 통해 Co-SOD를 위한 이미지 간 관계를 모델링하는 엔드-투-엔드 프레임워크, 그룹 어텐션 시맨틱 어그리제이션과 게이트드 그룹 디스트리뷰션으로 구성된 2단계 집계-분배 구조, 그리고 그룹 일관성 보존 디코더를 도입하여 정확하고 일관된 공동 관심 맵을 생성한다.

ABSTRACT

Co-Salient Object Detection (CoSOD) aims at discovering salient objects that repeatedly appear in a given query group containing two or more relevant images. One challenging issue is how to effectively capture co-saliency cues by modeling and exploiting inter-image relationships. In this paper, we present an end-to-end collaborative aggregation-and-distribution network (CoADNet) to capture both salient and repetitive visual patterns from multiple images. First, we integrate saliency priors into the backbone features to suppress the redundant background information through an online intra-saliency guidance structure. After that, we design a two-stage aggregate-and-distribute architecture to explore group-wise semantic interactions and produce the co-saliency features. In the first stage, we propose a group-attentional semantic aggregation module that models inter-image relationships to generate the group-wise semantic representations. In the second stage, we propose a gated group distribution module that adaptively distributes the learned group semantics to different individuals in a dynamic gating mechanism. Finally, we develop a group consistency preserving decoder tailored for the CoSOD task, which maintains group constraints during feature decoding to predict more consistent full-resolution co-saliency maps. The proposed CoADNet is evaluated on four prevailing CoSOD benchmark datasets, which demonstrates the remarkable performance improvement over ten state-of-the-art competitors.

연구 동기 및 목표

• Co-SOD에서 이미지 간 관계를 모델링하는 과제를 동기 부여하고 해결한다.
• 학습 가능한 관심사(prior)를 주입하기 위해 온라인 내부 주의 가이던스 모듈을 제안한다.
• 그룹 시맨틱스를 포착하고 이를 적응적으로 분배하기 위한 두 단계의 집계-분배 아키텍처를 설계한다.
• 전체 해상도 맵에서 이미지 간 일관성을 유지하기 위해 그룹 일관성 보존 디코더를 도입한다.
• 절제(ablations)와 함께 다수의 CoSOD 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• IaSH를 통해 학습 가능한 융합 메커니즘으로 주의 선행정보를 백본 특징과 융합하기 위한 Online Intra-Saliency Guidance (OIaSG)을 도입한다.
• 블록 단위 채널 셔플링, atrous 다중스케일 맥락, Self-attention 기반의 글로벌 의존성을 이용해 순서에 민감하지 않은 장거리 이미지 간 관계를 구축하는 Group-Attentional Semantic Aggregation (GASA)을 개발한다.
• Squeeze-and-Excitation 기반 추정기에 의해 안내되는 게이팅 메커니즘을 통해 그룹 시맨틱과 함께 이미지 내부 특징을 동적으로 결합하는 Gated Group Distribution (GGD)을 제안한다.
• 업샘플링 중 이미지 간 제약을 보존하는 연쇄적 디코딩 유닛을 갖춘 Group Consistency Preserving Decoder (GCPD)을 구현하여 전체 해상도 공동 주의 맵을 생성한다.
• 공동 주의와 단일 이미지 주의 지도 감독을 결합한 다중 작업 손실로 엔드투엔드 학습한다.

실험 결과

연구 질문

• RQ1 이미지 순서 및 공간 변형에 강하게 견디는 방식으로 이미지 간 관계를 어떻게 모델링할 수 있는가?
• RQ2 명시적인 카테고리 레이블 없이도 CoSOD를 안내하기 위해 주의 선행정보를 온라인으로 학습시킬 수 있는가?
• RQ3 이전 방법에 비해 두 단계의 집계-분배 파이프라인이 공동 주의 특징 학습을 개선하는가?
• RQ4 그룹 일관성을 보존하는 디코더가 다중 이미지 공동 주의 맵의 일관성을 더 높일 것인가?
• RQ5 표준 CoSOD 벤치마크 전반에서 최신 방법과 비교해 CoADNet의 성능은 어떠한가?

주요 결과

• CoADNet 변형은 VGG16, ResNet-50, 및 Dilated ResNet-50을 백본으로 사용하여 Cosal2015, CoSOD3k, MSRC, iCoseg 데이터세트에서 최첨단 결과를 달성한다.
• OAiablation 연구는 OIaSG, GASA, GGD, GCPD 구성요소의 유의미한 향상을 보이며, F-measure, MAE, S-measure에서 누적 향상을 나타낸다.
• CoADNet-DR(Dilated ResNet-50 사용)은 Cosal2015에서 예: F-measure 0.8874, MAE 0.0599, S-measure 0.8705 등 최상위 성능을 달성하며, 다른 데이터세트에서도 유사한 강한 향상을 보인다.
• 방법은 공동 주의 위치화와 배경 억제를 일관되게 향상시키고 디코딩을 통해 이미지 간 일관성을 유지한다.
• CoADNet-V, -R, 및 -DR 변종은 매개변수 수가 약 120 MB 수준으로 경쟁력 있는 모델 용량에서 강력한 성능을 시사한다.