[논문 리뷰] Few-shot Semantic Segmentation with Self-supervision from Pseudo-classes

Yiwen Li, Gratianus Wesley Putra Data외 3명|arXiv (Cornell University)|2021. 10. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 9

한 줄 요약

이 논문은 새로운 클래스에 대해 일반화 능력을 향상시키기 위해 쿼리 이미지 배경의 고활성 슈퍼픽셀에서 허위 클래스를 생성하는 자기지도 학습 소수 샘플 세그멘테이션 방법을 제안한다. 이러한 허위 클래스를 배경과 구분하도록 모델을 훈련시킴으로써, COCO 5-shot에서 최대 6.7% 향상된 mIoU와 PASCAL-5i 1-shot에서 5.1% 향상된 mIoU를 달성한다. 특히 다중 객체 클래스를 포함한 이미지에서의 세그멘테이션 정확도 향상에 뚜렷한 효과가 있다.

ABSTRACT

Despite the success of deep learning methods for semantic segmentation, few-shot semantic segmentation remains a challenging task due to the limited training data and the generalisation requirement for unseen classes. While recent progress has been particularly encouraging, we discover that existing methods tend to have poor performance in terms of meanIoU when query images contain other semantic classes besides the target class. To address this issue, we propose a novel self-supervised task that generates random pseudo-classes in the background of the query images, providing extra training data that would otherwise be unavailable when predicting individual target classes. To that end, we adopted superpixel segmentation for generating the pseudo-classes. With this extra supervision, we improved the meanIoU performance of the state-of-the-art method by 2.5% and 5.1% on the one-shot tasks, as well as 6.7% and 4.4% on the five-shot tasks, on the PASCAL-5i and COCO benchmarks, respectively.

연구 동기 및 목표

• 쿼리 이미지에 대상 클래스 외의 다중 객체 클래스가 포함될 경우 소수 샘플 세그멘테이션 성능이 저하되는 문제를 해결하기 위해.
• 기존 소수 샘플 세그멘테이션 방법에서 비대상 픽셀을 동일한 배경으로 간주함으로써 발생하는 배경 클래스에 대한 지도 신호 부족 문제를 완화하기 위해.
• 쿼리 이미지 배경의 슈퍼픽셀 분할에서 유도된 허위 클래스로부터 자기지도 학습 신호를 도입함으로써 모델의 일반화 능력을 향상시키기 위해.
• 비대상 클래스를 구분하도록 학습하는 것이 특성 분리 능력을 향상시키고, 미리 보지 않은 클래스에 대한 세그멘테이션 정확도를 향상시키는지 입증하기 위해.
• 훈련 중에 테스트 클래스 픽셀을 마스킹함으로써, 새로운 클래스에 대한 모델의 강인성을 검증하기 위해.

제안 방법

• 모델은 쿼리 이미지 배경의 슈퍼픽셀 중에서 특성 맵에서 높은 활성도를 보이는 것을 식별함으로써 허위 클래스를 생성한다.
• 각 에피소드마다 활성도가 가장 높은 상위 5개 슈퍼픽셀을 기반으로 한 허위 클래스를 형성하여, 자기지도 학습을 위한 추가적인 이미지-마스크 쌍을 생성한다.
• 자기지도 학습 손실은 가속화 가능한 하이퍼파rameter α에 의해 스케일링되며, 이는 허위 지도 신호와 진짜 지도 신호 간의 균형을 조절한다.
• 모델은 대상 클래스에 대한 표준 세그멘테이션 손실과 허위 클래스에 대한 자기지도 학습 손실을 조합하여 훈련한다.
• 슈퍼픽셀 분할을 사용함으로써 랜덤 픽셀 샘플링 대비 공간적 일관성을 확보하고 과다 분할 아티팩트를 감소시킨다.
• 이 방법은 아키텍처에 종속되지 않으며, PFENet나 PANet와 같은 어떤 소수 샘플 세그멘테이션 모델에도 자기지도 학습 헤드를 추가함으로써 적용 가능하다.

실험 결과

연구 질문

• RQ1 쿼리 이미지에 다수의 객체 클래스가 존재할 경우 소수 샘플 세그멘테이션 성능이 저하되는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ2 배경의 슈퍼픽셀에서 파생된 자기지도 학습 허위 클래스가 소수 샘플 세그멘테이션에서 새로운 클래스로의 일반화 능력을 향상시키는가?
• RQ3 허위 클래스 샘플링 전략의 선택(예: 상위 1개, 상위 5개, 무작위)이 성능 및 강인성에 어떤 영향을 미치는가?
• RQ4 대상 클래스가 지원 세트에 포함되지 않은 비대상 클래스를 분별하도록 학습할 경우 모델이 얼마나 유의미하게 이득을 보이는가?
• RQ5 훈련 중에 해당 픽셀이 마스킹된 완전히 새로운 클래스에 대해서도 자기지도 신호가 일반화 가능한가? 즉, 훈련 데이터에서 전혀 볼 수 없었던 클래스에 대해서도 성능 저하가 거의 없는가?

주요 결과

• 제안된 방법은 최신 기술인 PFENet 대비 PASCAL-5i 1-shot 벤치마크에서 5.1% 향상된 mIoU와 COCO 5-shot 벤치마크에서 6.7% 향상된 mIoU를 달성하였다.
• 상위 5개 슈퍼픽셀 샘플링 전략이 상위 1개나 무작위 샘플링보다 우수했으며, ResNet-50 PFENet 기반으로 PASCAL-5i 1-shot에서 63.2%의 mIoU를 기록하였다.
• 훈련 중에 테스트 클래스 픽셀을 마스킹했을 때 PFENet의 성능 저하가 오직 0.4%에 그쳐, 새로운 클래스에 대한 강력한 일반화 능력을 보였다.
• 최적의 자기지도 손실 스케일링 인자 α는 0.5로 확인되었으며, 이는 허위 레이블의 부정확성과 효과적인 지도 신호 간의 균형을 이룬다.
• 이 방법은 클래스 간 성능 불균형 문제를 완화하고 임베딩 공간 내 특성 분리 능력을 향상시켰다.
• 제거 분석을 통해 성능 향상 요인이 테스트 클래스와의 데이터 泄漏나 겹침이 아닌, 더 나은 배경 표현 학습에서 기인한다는 것이 확인되었다.