[논문 리뷰] Group-wise Deep Co-saliency Detection

Lina Wei, Shanshan Zhao외 3명|arXiv (Cornell University)|2017. 07. 24.

Visual Attention and Saliency Detection참고 문헌 18인용 수 5

한 줄 요약

이 논문은 군집 입력과 군집 출력을 갖는 완전 컨volution 네트워크(FCN)를 사용하여 통합적이고 엔드 투 엔드 방식의 그룹별 딥 공유사출성 검출 프레임워크를 제안한다. 공동 학습 기반으로 개인 이미지 특징과 그룹별 상호작용 특징을 동시에 학습함으로써, 상호 이미지 일致성 모델링을 향상시켜 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 사운드성 검출 정확도와 강건성을 크게 향상시킨다.

ABSTRACT

In this paper, we propose an end-to-end group-wise deep co-saliency detection approach to address the co-salient object discovery problem based on the fully convolutional network (FCN) with group input and group output. The proposed approach captures the group-wise interaction information for group images by learning a semantics-aware image representation based on a convolutional neural network, which adaptively learns the group-wise features for co-saliency detection. Furthermore, the proposed approach discovers the collaborative and interactive relationships between group-wise feature representation and single-image individual feature representation, and model this in a collaborative learning framework. Finally, we set up a unified end-to-end deep learning scheme to jointly optimize the process of group-wise feature representation learning and the collaborative learning, leading to more reliable and robust co-saliency detection results. Experimental results demonstrate the effectiveness of our approach in comparison with the state-of-the-art approaches.

연구 동기 및 목표

• 개별 이미지 특징과 그룹별 상호작용을 모델링하여 공공사출성 객체 검출의 과제를 해결하기 위해.
• 엔드 투 엔드 방식으로 그룹별 특징 표현과 공동 학습을 공동 최적화함으로써 검출 신뢰도를 향상시키기 위해.
• 이미지 그룹 간 공통(공유) 및 고유(개별) 사운드성 특징을 모두 포착하기 위해.
• 내부 및 외부 이미지 사운드성 검출을 위한 후처리 또는 별도의 파이프라인에 의존하지 않기 위해.
• 이전 방법이 어려움을 겪는 복잡하고 혼잡한 환경에서도 뛰어난 성능을 달성하기 위해.

제안 방법

• 모델은 다수의 이미지를 동시에 처리하기 위해 군집 입력과 군집 출력을 갖는 완전 컨볼루션 네트워크(FCN)를 사용한다.
• 공유된 백본을 통해 각 이미지에서 개별적으로 의미 특징을 추출하고, 그룹 전체에서의 특징도 추출한다.
• 군집 사운드성 특징 추출 블록은 연결된 군집 특징을 처리하여 상호 이미지 일치성을 포착한다.
• 네트워크는 개별 이미지 특징과 군집 수준의 특징을 연결하여 융합하고, 밀도 높은 사운드성 맵을 복원하기 위해 디컨볼루션 레이어를 적용한다.
• 단일 이미지와 군집 기반 표현 간의 상호작용을 모델링하기 위해 공동 학습 프레임워크를 설계한다.
• 전체 네트워크는 특징 학습과 사운드성 예측의 공동 강화를 공동 최적화하기 위해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 개별 및 군집 기반 특징의 공동 학습이 공사운드성 검출 성능을 향상시키는가?
• RQ2 상호 이미지 간의 상호작용을 모델링하면 공통 사운드성 객체 검출에 어떻게 기여하는가?
• RQ3 엔드 투 엔드로 통합된 네트워크 아키텍처가 내부 및 외부 이미지 사운드성 처리를 별도 또는 순차적으로 처리하는 것보다 우수한가?
• RQ4 고도로 시각적 변동성이 있는 복잡하고 혼잡한 환경에서 제안된 방법의 효과는 어떠한가?
• RQ5 공통되지 않는 객체(예: 사과 그룹 내의 나무)를 억제하면서도 공통 사운드성 영역을 강화할 수 있는가?

주요 결과

• iCoseg 데이터셋에서 제안된 방법은 평균 F-측정치 0.6983, AUC 0.9497, MAE 0.1018을 기록하여 모든 베이스라인을 능가했다.
• MSRC 데이터셋에서 평균 F-측정치 0.5952, AUC 0.6997, MAE 0.2238을 기록하여 강력한 일반화 능력을 보였다.
• 도전적인 Cosal2015 데이터셋에서 모든 방법 중 최고의 mF(0.6084), AUC(0.8954), 가장 낮은 MAE(0.1434)를 달성했다.
• 절단 실험 결과 군집 기반 모델이 단일 이미지 모델보다 F-측정치에서 5.0% 향상된 0.6340(비교: 0.6039)을 기록했다.
• MSRC에서 두 번째로 높은 AP 점수(0.687)를 기록했으며, 후처리 없이도 CoDW와 유사한 성능을 보였다.
• 시각적 결과는 군집 기반 접근이 공통되지 않는 객체(예: 사과 그룹 내의 나무)를 더 잘 억제하고 공통 사운드성 영역을 강화함을 확인했다.