[논문 리뷰] Weakly-supervised Salient Instance Detection

Xin Tian, Ke Xu외 3명|arXiv (Cornell University)|2020. 09. 29.

Visual Attention and Saliency Detection참고 문헌 50인용 수 12

한 줄 요약

이 논문은 픽셀 수준의 애너테이션 대신 이미지 수준의 클래스 및 서브잇라이징(세기) 레이블만을 사용하는 최초의 움직임 감지된 인스턴스 검출(WSID-Net) 방법을 제안한다. 이 방법은 총 3개의 브랜치로 구성된 네트워크를 사용하며, 각각 시각적 강조 영역 탐지, 경계 정의, 중심점 탐지 브랜치로 구성되며, 경계 강화 모듈과 새로운 중심점 기반 서브잇라이징 손실 함수를 통해 성능을 향상시켜 기준 데이터셋에서 61.9% mAP와 47.2% F-measure의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Existing salient instance detection (SID) methods typically learn from pixel-level annotated datasets. In this paper, we present the first weakly-supervised approach to the SID problem. Although weak supervision has been considered in general saliency detection, it is mainly based on using class labels for object localization. However, it is non-trivial to use only class labels to learn instance-aware saliency information, as salient instances with high semantic affinities may not be easily separated by the labels. We note that subitizing information provides an instant judgement on the number of salient items, which naturally relates to detecting salient instances and may help separate instances of the same class while grouping different parts of the same instance. Inspired by this insight, we propose to use class and subitizing labels as weak supervision for the SID problem. We propose a novel weakly-supervised network with three branches: a Saliency Detection Branch leveraging class consistency information to locate candidate objects; a Boundary Detection Branch exploiting class discrepancy information to delineate object boundaries; and a Centroid Detection Branch using subitizing information to detect salient instance centroids. This complementary information is further fused to produce salient instance maps. We conduct extensive experiments to demonstrate that the proposed method plays favorably against carefully designed baseline methods adapted from related tasks.

연구 동기 및 목표

• 기존에 비용이 많이 드는 픽셀 수준의 애너테이션을 요구하는 움직임 감지된 인스턴스 검출(SID)에 대해 약한 감독 방법의 부족을 해결하기 위해.
• 서브잇라이징(세기) 정보가 같은 클래스의 개별 인스턴스를 구분하고 단일 인스턴스의 부분을 그룹화하는 데 효과적인 약한 감독으로 기능할 수 있는지 탐색하기 위해.
• 픽셀 수준의 마스크 없이도 이미지 수준의 레이블만을 사용하여 시각적 강조, 경계, 인스턴스 중심점을 동시에 학습할 수 있는 통합된 딥 러닝 프레임워크를 설계하기 위해.
• 클래스 일관성, 클래스 간 차이, 인스턴스 수 계산 등의 보완 신호를 활용하여 인스턴스 수준의 시각적 강조 영역 검출 성능을 향상시키기 위해.

제안 방법

• 클래스 일관성을 활용해 후보 객체를 국소화하는 시각적 강조 영역 탐지 브랜치, 클래스 간 차이를 활용해 객체 경계를 정밀화하는 경계 탐지 브랜치, 서브잇라이징 신호를 활용해 인스턴스 중심점을 탐지하는 중심점 탐지 브랜치를 포함한 3브랜치 네트워크인 WSID-Net을 제안한다.
• 중심점 위치를 회귀하여 정확한 시각적 강조 인스턴스 수를 예측하도록 유도하는 새로운 중심점 기반 서브잇라이징 손실 함수 ($\mathcal{L}_{\mathcal{SU}}$)를 도입한다.
• 다양한 스케일의 특징을 통합하여 경계 국소화 정확도를 향상시키는 경계 강화(BE) 모듈을 활용한다.
• 장거리 의존성과 공간적 맥락을 모델링하여 특징 표현을 향상시키는 더블 어텐션(DA) 모듈을 사용한다.
• 모든 3개의 브랜치에서의 예측을 학습 가능한 융합 모듈을 통해 융합하여 최종 시각적 강조 인스턴스 맵을 생성한다.
• 픽셀 수준의 마스크가 필요 없이 이미지 수준의 클래스 레이블과 서브잇라이징 레이블만을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 클래스 레이블만 존재할 때 서브잇라이징 정보가 인스턴스 인식 시각적 강조 영역 탐지에 효과적으로 기여할 수 있는가?
• RQ2 클래스 및 서브잇라이징 레이블에서 유도되는 약한 감독 신호를 어떻게 조합하여 개별 시각적 강조 인스턴스를 검출하고 분리할 수 있는가?
• RQ3 각각 시각적 강조, 경계, 중심점을 전담하는 브랜치를 갖춘 다중 브랜치 아키텍처가 인스턴스 검출 성능을 향상시키는가?
• RQ4 제안된 모듈인 경계 강화 및 더블 어텐션 모듈이 경계 정확도 및 인스턴스 분리에 얼마나 기여하는가?

주요 결과

• 제안된 WSID-Net은 표준 SID 벤치마크에서 61.9% mAP와 47.2% F-measure를 달성하여 모든 약한 감독 기반 기준 및 최신 기술 수준의 완전 감독 기반 방법을 초월한다.
• 절단 실험을 통해 BE 모듈, DA 모듈, $\mathcal{L}_{\mathcal{SU}}$ 모두가 성능 향상에 점진적으로 기여하며, 전체 모델에서 가장 높은 성능 향상을 보였다.
• 정성적 결과 분석을 통해 WSID-Net은 같은 클래스의 인스턴스를 성공적으로 분리하고 복잡한 환경에서도 정확한 경계를 정의하는 데 성공하였다.
• 서브잇라이징 감독 덕분에 유사한 의미적 특성을 가진 객체가 많아도 잘 일반화되어, 인스턴스 수 계산이 가능함에 따라 높은 성능 유지를 보였다.
• 복잡한 배경으로 인해 시각적 강조 영역 탐지 브랜치가 시각적 강조 영역을 제대로 국소화하지 못할 경우 실패하는 경우가 발생하여, 초기 시각적 강조 예측의 품질에 의존성이 있음을 시사한다.