[논문 리뷰] A Few Guidelines for Incremental Few-Shot Segmentation.

Fabio Cermelli, Massimiliano Mancini외 3명|arXiv (Cornell University)|2020. 11. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 6

한 줄 요약

이 논문은 COCO 및 Pascal-VOC 2012에서 최신 기술 성능을 달성하기 위해 새로운 클래스의 소수의 이미지로 미리 학습된 모델을 미세조정하는 새로운 접근법을 제안한다. 이는 치명적인 망각과 배치 정규화의 이탈 문제를 배치 재정규화와 정규화를 통해 해결하여 소수의 예제 설정과 여러 학습 에피소드 전반에 걸쳐 일관된 성능 향상을 이룬다.

ABSTRACT

Reducing the amount of supervision required by neural networks is especially important in the context of semantic segmentation, where collecting dense pixel-level annotations is particularly expensive. In this paper, we address this problem from a new perspective: Incremental Few-Shot Segmentation. In particular, given a pretrained segmentation model and few images containing novel classes, our goal is to learn to segment novel classes while retaining the ability to segment previously seen ones. In this context, we discover, against all beliefs, that fine-tuning the whole architecture with these few images is not only meaningful, but also very effective. We show how the main problems of end-to-end training in this scenario are i) the drift of the batch-normalization statistics toward novel classes that we can fix with batch renormalization and ii) the forgetting of old classes, that we can fix with regularization strategies. We summarize our findings with five guidelines that together consistently lead to the state of the art on the COCO and Pascal-VOC 2012 datasets, with different number of images per class and even with multiple learning episodes.

연구 동기 및 목표

• 세그멘테이션에서 고비용의 밀도 높은 픽셀 수준의 애너테이션을 줄이기 위해, 모델이 소수의 예시에서 새로운 클래스를 학습할 수 있도록 하는 것.
• 점진적 학습 환경에서 이전에 본 클래스의 성능를 유지하면서 새로운 클래스를 학습하는 과제를 해결하는 것.
• 엔드 투 엔드 미세조정에서 발생하는 두 가지 핵심 문제인 배치 정규화 통계가 새로운 클래스로 이탈하는 것과 이전 클래스의 치명적인 망각을 극복하는 것.
• 다양한 소수 예제 설정(예: 지원 이미지 수의 변화 및 여러 학습 에피소드 포함)에 걸쳐 잘 작동하는 강력하고 일반화 가능한 프레임워크를 개발하는 것.

제안 방법

• 일반적으로 실패할 것으로 여겨지는 바와는 달리, 새로운 클래스당 소수의 애너테이션된 이미지만을 사용하여 전체 세그멘테이션 모델을 엔드 투 엔드로 미세조정하는 것.
• 학습 중에 배치 정규화 통계가 새로운 클래스 분포로 이탈하는 것을 방지하기 위해 배치 재정규화를 적용하여 통계를 안정화시키는 것.
• 점진적 학습 중에 이전에 학습한 클래스의 치명적인 망각을 완화하기 위해 정규화 전략을 활용하는 것.
• 여러 학습 에피소드를 지원하는 트레이닝 파이프라인을 설계하여, 최소한의 망각으로 시간이 지남에 따라 지속적인 학습이 가능하도록 하는 것.
• 신속한 적응을 가능하게 하기 위해 미리 학습된 세그멘테이션 모델을 강력한 초기화로 활용하는 것.
• 새로운 클래스의 세그멘테이션 정확도와 이전 클래스의 성능 유지 간 균형을 맞추는 통합된 트레이닝 목표를 사용하는 것.

실험 결과

연구 질문

• RQ1 새로운 클래스당 소수의 이미지로 전체 세그멘테이션 네트워크를 엔드 투 엔드로 미세조정하는 것이 점진적 소수 예제 세그멘테이션에서 강력한 성능을 달성할 수 있는가?
• RQ2 배치 정규화가 새로운 클래스 통계로 이탈하는 것이 모델 성능에 어느 정도 악영향을 미치며, 이를 효과적으로 완화할 수 있는가?
• RQ3 최소한의 감독 하에 점진적 학습 중에 이전에 학습한 클래스의 치명적인 망각을 어떻게 줄일 수 있는가?
• RQ4 통합된 방법이 다양한 소수 예제 설정과 표준 벤치마크에서 여러 학습 에피소드 동안 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• 새로운 클래스당 소수의 이미지로 전체 네트워크를 미세조정하면 COCO 및 Pascal-VOC 2012에서 최신 기술 성능을 달성한다.
• 배치 재정규화가 배치 정규화 통계를 효과적으로 안정화시켜 학습 중에 새로운 클래스 분포로의 이탈을 방지한다.
• 정규화 전략이 치명적인 망각을 크게 감소시켜 여러 학습 에피소드에 걸쳐 이전에 본 클래스의 성능를 유지한다.
• 배치 재정규화와 정규화의 조합이 다양한 소수 예제 설정(예: 클래스당 지원 이미지 수의 변화 포함)에서 일관된 성능 향상을 가능하게 한다.
• 이 방법은 여러 학습 에피소드로도 잘 일반화되어 최소한의 감독 하에 지속적인 학습 시나리오에서 뛰어난 강건성을 보인다.
• 제안된 가이드라인은 기존의 접근 방식을 능가하는 표준 벤치마크에서 신뢰할 수 있고 효과적인 프레임워크를 제공한다.