[논문 리뷰] Adaptive Graph Convolutional Network with Attention Graph Clustering for Co-saliency Detection

Kaihua Zhang, Tengpeng Li외 4명|arXiv (Cornell University)|2020. 03. 13.

Visual Attention and Saliency Detection참고 문헌 71인용 수 8

한 줄 요약

이 논문은 공유 사전적 주목 객체 검출을 위한 엔드 투 엔드 적응형 그래프 컨볼루션 네트워크인 GCAGC를 제안한다. 이는 적응형 그래프 학습을 통해 장거리 내부 및 상호 이미지 간 의존성을 모델링하고, 비지도 학습 기반의 주의 기반 클러스터링을 통해 예측을 정밀하게 보정하여 iCoseg, Cosal2015, COCO-SEG에서 각각 F-스코어 0.8428과 0.7092의 최신 기준 성능을 달성한다.

ABSTRACT

Co-saliency detection aims to discover the common and salient foregrounds from a group of relevant images. For this task, we present a novel adaptive graph convolutional network with attention graph clustering (GCAGC). Three major contributions have been made, and are experimentally shown to have substantial practical merits. First, we propose a graph convolutional network design to extract information cues to characterize the intra- and interimage correspondence. Second, we develop an attention graph clustering algorithm to discriminate the common objects from all the salient foreground objects in an unsupervised fashion. Third, we present a unified framework with encoder-decoder structure to jointly train and optimize the graph convolutional network, attention graph cluster, and co-saliency detection decoder in an end-to-end manner. We evaluate our proposed GCAGC method on three cosaliency detection benchmark datasets (iCoseg, Cosal2015 and COCO-SEG). Our GCAGC method obtains significant improvements over the state-of-the-arts on most of them.

연구 동기 및 목표

• 그들의 의미적 카테고리에 대한 사전 지식 없이도 이미지 그룹 간 공통 주목 객체를 탐지하는 데 도전하는 것.
• 공유 사전적 주목 객체 검출을 위한 장거리 및 상호 이미지 간 의존성을 모델링하는 데에 CNN의 한계를 극복하는 것.
• 공동 최적화 프레임워크 내에서 다른 주목적 배경과 공통 주목 객체를 구분할 수 있는 비지도 방법을 개발하는 것.
• 그래프 학습, 클러스터링 및 검출을 통합한 엔드 투 엔드 학습 가능한 프레임워크를 설계하여 성능 향상시키는 것.

제안 방법

• 이미지 그룹에서 다중 척도 특징을 추출하고 밀도 있는 특징 노드 그래프를 구성하기 위해 CNN 인코더를 활용한다.
• 임의의 두 이미지 위치 간의 직접적인 장거리 상호작용을 계산하는 적응형 그래프 컨볼루션 네트워크(AGCN)를 설계하여 내부 및 상호 이미지 대응관계를 포착한다.
• 공동 주의 맵을 생성하여 비지도 방식으로 공통 주목 객체를 다른 주목 영역과 구분함으로써 예측을 정밀하게 보정하는 주의 기반 그래프 클러스터링 모듈(AGCM)을 도입한다.
• 모든 구성 요소를 엔드 투 엔드 인코더-디코더 프레임워크에서 공동 최적화하여 최종 공유 사전적 주목 맵을 생성하기 위해 CNN 디코더를 사용한다.
• 고정된 그래프 설계를 피하기 위해 GCAGC의 AGCN에서 적응형 그래프 학습을 구현하여 공유 사전적 주목 객체 검출 작업에 맞는 그래프 구조를 타이밍한다.
• AGCM에서 생성한 공통 주의 맵을 활용하여 특징 보정을 유도하고 공간 일관성 향상 및 노이즈 억제를 개선한다.

실험 결과

연구 질문

• RQ1 적응형 그래프 컨볼루션 네트워크는 공유 사전적 주목 객체 검출을 위해 장거리 및 상호 이미지 간 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 비지도 주의 기반 그래프 클러스터링은 다른 주목적 배경과 공통 주목 객체를 구분하는 데에 성능 향상에 기여하는가?
• RQ3 그래프 학습, 클러스터링 및 검출의 엔드 투 엔드 공동 최적화는 단계별 또는 별도 학습보다 뛰어난 성능을 낼 수 있는가?
• RQ4 잡음이 많고 여러 간섭 물체가 존재하는 복잡한 상황에서도 제안된 방법의 성능은 어떠한가?

주요 결과

• Cosal2015 벤치마크에서 GCAGC는 0.8428의 최고 F-스코어를 기록하여 두 번째로 우수한 성능을 낸 CSMG보다 3.31% 높고, RCGS보다 2.78% 높다.
• COCO-SEG에서 GCAGC는 F-스코어 0.7092를 기록하여 RCGS(0.6814)보다 2.78% 높고, CSMG보다 3.31% 높다.
• 절단 실험 결과, AGCN를 제거할 경우 Cosal2015에서 Fβ가 2.72% 감소하여 장거리 의존성을 포착하는 데 있어 핵심적인 역할을 한다는 것을 입증한다.
• AGCM 제거 시 iCoseg에서 Fβ가 4.09% 감소하여 공통 주목 영역을 정밀하게 보정하는 데 있어 그 효과가 뚜렷하다는 것을 확인한다.
• AGCN 내 적응형 그래프 학습 전략은 고정된 그래프 설계보다 성능 향상을 이끌어내며, 비활성화 시 AP가 뚜렷하게 2.22% 감소한다.
• 정성적 결과 분석에서 GCAGC는 복잡한 잡음과 간섭 조건에서도 배경 노이즈가 감소하고 공간 일관성이 높은 공유 사전적 주목 맵을 생성함을 확인할 수 있다.