[논문 리뷰] Generalized Few-Shot Semantic Segmentation: All You Need is Fine-Tuning

Josh Myers-Dean, Yinan Zhao외 3명|arXiv (Cornell University)|2021. 12. 21.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 일반화된 소수 샘플 세분화를 위한 단순한 이단계 미세조정 접근법을 제안하며, 특징 추출기를 동결한 채 분류기 헤드만 미세조정하는 것이 PASCAL-5i 및 COCO-20i에서 최신 기준 성능을 달성함을 보여준다. 또한 삼중체 손실 정규화가 기본 클래스와 신규 클래스 간의 성능 균형을 향상시켜 이전 메타학습 방법에서 관찰된 성능 포화 현상을 제거함을 입증한다.

ABSTRACT

Generalized few-shot semantic segmentation was introduced to move beyond only evaluating few-shot segmentation models on novel classes to include testing their ability to remember base classes. While the current state-of-the-art approach is based on meta-learning, it performs poorly and saturates in learning after observing only a few shots. We propose the first fine-tuning solution, and demonstrate that it addresses the saturation problem while achieving state-of-the-art results on two datasets, PASCAL-5i and COCO-20i. We also show that it outperforms existing methods, whether fine-tuning multiple final layers or only the final layer. Finally, we present a triplet loss regularization that shows how to redistribute the balance of performance between novel and base categories so that there is a smaller gap between them.

연구 동기 및 목표

• 기존 메타학습 기반의 일반화된 소수 샘플 세분화 모델에서 발생하는 성능 포화 현상과 낮은 일반화 능력을 해결하기 위해.
• 다른 소수 샘플 학습 과제에서 성공한 바 있는 미세조정이 일반화된 소수 샘플 세분화 과제에도 효과적일 수 있는지 조사하기 위해.
• 모델 성능에 미치는 영향을 평가하기 위해 네트워크 구성 요소(예: 최종 레이어만 vs. 모든 레이어)를 미세조정하는 방식을 평가하기 위해.
• 삼중체 손실 정규화가 기본 클래스와 신규 클래스 간의 성능 균형을 향상시킬 수 있는지 탐색하기 위해.
• 간단하고 확장 가능한 미세조정을 통해 일반화된 소수 샘플 세분화의 새로운 최신 기준 베이스라인을 수립하기 위해.

제안 방법

• 이 방법은 이중 단계 학습 프로세스를 사용한다: 먼저 풍부한 애너테이션을 가진 기본 클래스에서 사전 학습을 수행한 후, 소수 샘플 지원 세트를 사용하여 기본 클래스와 신규 클래스 모두에서 미세조정을 수행한다.
• 미세조정 과정에서 분류기 이전의 모든 레이어는 동결되고, 지원 세트 애너테이션을 사용하여 오직 분류기 헤드만 업데이트된다.
• 이 접근법은 두 가지 변형을 평가한다: 최종 레이어만 미세조정하는 방식(Ours-Vanilla)과 백본 이후의 모든 레이어를 미세조정하는 방식(Ours-TripletAll).
• 피그먼트 특징 간 유사성과 이질성을 명시적으로 모델링하기 위해 삼중체 손실을 도입하여 기본 클래스 및 신규 클래스 모두의 특징 구분 능력을 향상시킨다.
• 삼중체 손실은 미세조정 중에 동일한 클래스의 특징 임베딩이 다른 클래스의 특징 임베딩보다 더 가까워지도록 유도한다.
• 성능 평가는 PASCAL-5i 및 COCO-20i에서 1, 5, 10, 100샷 설정에서 평균 교차율(mIoU)을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 간단한 미세조정 접근법이 일반화된 소수 샘플 세분화에서 최신 기준 메타학습 방법을 능가할 수 있는가?
• RQ2 최종 분류기 레이어만 또는 백본 이후의 모든 레이어를 미세조정하는 것이 더 높은 성능을 낼 수 있는가?
• RQ3 삼중체 손실 정규화가 기본 클래스와 신규 클래스 간의 성능 균형을 향상시킬 수 있는가?
• RQ4 메타학습 기반 기준선에서 관찰된 것처럼, 미세조정 모델에서 샷 수가 증가함에 따라 성능 포화 현상이 발생하는가?
• RQ5 학습 중 기본 클래스와 신규 클래스의 비율이 모델의 일반화 능력과 성능 균형에 어떤 영향을 미치는가?

주요 결과

• 제안된 미세조정 접근법은 PASCAL-5i 및 COCO-20i에서 모두 새로운 최신 기준 mIoU 성능을 달성하며, 이전 메타학습 기준선 GFS-Seg을 능가한다.
• 이 방법은 성능 포화 현상이 없으며, mIoU가 1에서 10샷으로 증가함에 따라 지속적으로 상승한다. 반면 GFS-Seg는 단지 0.3%p의 성능 향상에 그친다.
• 백본 이후의 모든 레이어를 미세조정하는 Ours-TripletAll 방식이 최종 레이어만 미세조정하는 방식보다 더 높은 성능을 보이며, 특히 기본 클래스와 신규 클래스 간의 성능 균형을 향상시키는 데 유리하다.
• 삼중체 손실 정규화는 기본 클래스와 신규 클래스 간의 성능 격차를 줄여주며, 신규 클래스의 mIoU를 향상시키면서도 기본 클래스 성능은 유지한다.
• 대조적 학습에 코사인 유사도를 사용한 Ours-Cosine은 비잔티노 미세조정 기준선 대비 5샷 및 10샷에서 각각 1.04%p 및 5.39%p의 총 mIoU 감소를 보였다.
• 신규 클래스 비율이 높아질수록 성능이 저하되며, 주로 기본 클래스 성능 저하로 인한 것으로 나타나, 학습 중 클래스 분포에 민감함을 시사한다.