[논문 리뷰] FGN: Fully Guided Network for Few-Shot Instance Segmentation

Zhibo Fan, Jin-Gang Yu외 5명|arXiv (Cornell University)|2020. 03. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 10

한 줄 요약

이 논문은 소수의 샘플로도 성능을 높일 수 있도록 지원 세트 지식을 최대한 활용하는 새로운 프레임워크인 풀리 가이드드 네트워크(Fully Guided Network, FGN)를 제안한다. FGN은 마스크 R-CNN의 각 구성 요소에 대해 세 가지 독립적인 가이던스 메커니즘—어텐션 기반 RPN(Attention-Guided RPN), 관계 기반 디텍터(Relation-Guided Detector), 어텐션 기반 FCN(Attention-Guided FCN)—을 도입하여 소수 샘플 분류 설정에서 최신 기술 성능(SOTA)을 달성한다. FGN은 COCO 및 VOC 벤치마크에서 기존 방법들을 능가하는 검출 및 세그멘테이션 mAP 성능을 보이며, 소수 샘플 설정에서도 뛰어난 성능을 발휘한다.

ABSTRACT

Few-shot instance segmentation (FSIS) conjoins the few-shot learning paradigm with general instance segmentation, which provides a possible way of tackling instance segmentation in the lack of abundant labeled data for training. This paper presents a Fully Guided Network (FGN) for few-shot instance segmentation. FGN perceives FSIS as a guided model where a so-called support set is encoded and utilized to guide the predictions of a base instance segmentation network (i.e., Mask R-CNN), critical to which is the guidance mechanism. In this view, FGN introduces different guidance mechanisms into the various key components in Mask R-CNN, including Attention-Guided RPN, Relation-Guided Detector, and Attention-Guided FCN, in order to make full use of the guidance effect from the support set and adapt better to the inter-class generalization. Experiments on public datasets demonstrate that our proposed FGN can outperform the state-of-the-art methods.

연구 동기 및 목표

• 제한된 레이블 데이터를 가진 소수 샘플 인스턴스 세그멘테이션 문제를 해결하며, 기존 방법들이 새로운 클래스에 대한 일반화 능력이 부족하여 어려움을 겪는 점을 해결한다.
• 모든 마스크 R-CNN 구성 요소에 동일한 가이던스 메커니즘을 적용하는 기존 접근법의 한계를 극복한다.
• 마스크 R-CNN의 각 핵심 구성 요소가 지원 세트로부터 태스크 특화 가이던스를 받는 완전 가이드드 프레임워크를 설계하여 클래스 간 일반화 능력을 향상시킨다.
• RPN, 디텍터, 마스크 헤드의 고유한 요구사항에 맞게 맞춤형으로 설계된 효과적인 모듈형 가이던스 메커니즘을 개발한다.
• 광범위한 아블레이션 및 비교 연구를 통해 공개된 소수 샘플 인스턴스 세그멘테이션 벤치마크에서 뛰어난 성능을 입증한다.

제안 방법

• 클래스 인식 어텐션을 사용해 지원 세트 특징을 인코딩하고 신규 클래스의 영역 제안 생성을 안내하는 어텐션 기반 RPN(AG-RPN)을 도입한다.
• 지원 세트 특징과 제안 특징을 비교하여 명시적인 관계 모델링을 통해 분류 및 바운딩 박스 회귀 성능을 향상시키는 관계 기반 디텍터(RG-DET)를 제안한다.
• 지원 세트로부터 유도된 채널 별 어텐션 벡터를 사용해 특징맵을 재가중시켜 마스크 예측 성능을 향상시키는 어텐션 기반 FCN(AG-FCN)을 설계한다.
• 인퍼런스 시 지원 세트 인코딩과 가이던스를 통합하는 다단계 훈련 전략을 적용하여 효과적인 소수 샘플 적응을 가능하게 한다.
• 각 단계(RPN 및 디텍터)가 별도의 메커니즘으로 가이던스를 받는 이중 단계 마스크 R-CNN 백본을 사용하여 지원 세트 정보를 최대한 활용한다.
• 검출, 분류, 마스크 세그멘테이션 손실을 통합한 새로운 손실 함수를 구현하며, 지원 세트 감독 하에 엔드 투 엔드 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 공통된 지원 세트를 사용하여 마스크 R-CNN의 다양한 구성 요소를 효과적으로 가이던스할 수 있는 통합 프레임워크는 가능한가?
• RQ2 RPN, 디텍터, 마스크 헤드에 태스크 특화 가이던스 메커니즘을 적용하면 단일 메커니즘 가이던스보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ3 어텐션 기반 및 관계 기반 가이던스 메커니즘이 제안 품질 향상과 마스크 예측 정확도 향상에 어떤 영향을 미치는가?
• RQ4 모든 구성 요소에 걸쳐 완전한 가이던스를 적용할 경우 소수 샘플 인스턴스 세그멘테이션 벤치마크에서 성능 향상 정도는 어느 정도인가?
• RQ5 제안된 가이던스 메커니즘은 다양한 소수 샘플 설정(예: 3-way-3-shot, 5-way-1-shot)과 데이터셋(COCO, VOC) 간에도 일반화 가능한가?

주요 결과

• FGN은 COCO2VOC 소수 샘플 인스턴스 세그멘테이션 벤치마크에서 기존 방법들을 능가하는 검출 및 세그멘테이션 mAP 성능을 기록하며 최신 기술 성능(SOTA)을 달성한다.
• 아블레이션 연구 결과, AG-RPN, RG-DET, AG-FCN 각 가이던스 모듈이 전체 성능 향상에 기여하며, 전체 FGN 모델이 가장 우수한 성능을 보임을 확인한다.
• AG-RPN은 기준 RPN 및 [21]에서 제안한 AG-RPN-v1보다 제안 품질에서 뛰어나며, 모든 변종 중에서 가장 높은 AR50 점수를 기록한다.
• AG-FCN은 [32]에서 제안한 AG-FCN-v1과 AG-FCN-v2(채널 타일링 및 연결 변형)를 모두 능가하여 제안된 어텐션 메커니즘이 효과적임을 입증한다.
• 더 작은 학습 세트를 가진 VOC2VOC 설정에서도 FGN은 전체 mAP에서 가장 높은 성능을 기록하며 데이터 부족 상황에서도 강건함을 입증한다.
• 전체 FGN 모델은 COCO2VOC 3-way-3-shot 설정에서 mAP50가 17.9를 기록하며, 다음으로 우수한 방법보다 뚜렷하게 뛰어난 성능을 보였다.