[논문 리뷰] Objectness-Aware One-Shot Semantic Segmentation

Yinan Zhao, Brian Price외 2명|arXiv (Cornell University)|2020. 04. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 5

한 줄 요약

이 논문은 새로운 카테고리의 예시가 하나뿐일 때도 분할 정확도를 향상시키기 위해 사전 훈련된 오브젝트니스 모듈을 활용하는 오브젝트니스 인식 희소 샘플 세그멘테이션 모델을 제안한다. 희소 샘플 학습과 오브젝트니스 예측을 통합함으로써, PASCAL-5i에서 57.9%의 mIoU와 COCO-20i에서 22.6%의 mIoU를 달성하여 기존 베이스라인을 능가한다.

ABSTRACT

While deep convolutional neural networks have led to great progress in image semantic segmentation, they typically require collecting a large number of densely-annotated images for training. Moreover, once trained, the model can only make predictions in a pre-defined set of categories. Therefore, few-shot image semantic segmentation has been explored to learn to segment from only a few annotated examples. In this paper, we tackle the challenging one-shot semantic segmentation problem by taking advantage of objectness. In order to capture prior knowledge of object and background, we first train an objectness segmentation module which generalizes well to unseen categories. Then we use the objectness module to predict the objects present in the query image, and train an objectness-aware few-shot segmentation model that takes advantage of both the object information and limited annotations of the unseen category to perform segmentation in the query image. Our method achieves a mIoU score of 57.9% and 22.6% given only one annotated example of an unseen category in PASCAL-5i and COCO-20i, outperforming related baselines overall.

연구 동기 및 목표

• 희소 샘플 세그멘테이션 모델이 훈련을 위해 대규모 애너테이션 데이터셋이 필요로 하는 한계를 해결하기 위해.
• 새로운, 볼 수 없는 카테고리에 대해 단일 애너테이션 예시만으로도 세그멘테이션 성능을 향상시키기 위해.
• 오브젝트니스 사전 지식—객체 존재 및 위치에 대한 지식—을 활용하여 희소 샘플 일반화 능력을 향상시키기 위해.
• 오브젝트니스 예측과 희소 샘플 세그멘테이션을 통합하여 정확도를 향상시키는 통합 프레임워크를 개발하기 위해.

제안 방법

• 대규모 데이터셋에서 별도의 오브젝트니스 세그멘테이션 모듈을 사전 훈련하여 객체와 배경을 탐지하고 국소화한다.
• 희소 샘플 세그멘테이션 전에 쿼리 이미지에서 오브젝트 프로포절을 예측하기 위해 오브젝트니스 모듈을 사용한다.
• 오브젝트니스 인식 희소 샘플 세그멘테이션 모델을 훈련하여 객체 영역에 주의를 기울이고 새로운 카테고리의 제한된 애너테이션을 활용한다.
• 오브젝트니스 예측과 지원 이미지의 특징을 융합하여 쿼리 이미지의 세그멘테이션 마스크를 개선한다.
• 이중 브랜치 네트워크와 주의 메커니즘을 사용하여 지원 및 쿼리 특징을 정렬하면서 오브젝트니스 가이던스를 활용한다.
• 오브젝트니스 및 세그멘테이션 정확도를 최적화하기 위한 손실 함수를 사용하여 PASCAL-5i와 COCO-20i에서 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 단일 예시만 있는 새로운 카테고리에 대해 오브젝트니스 사전 지식이 희소 샘플 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ2 오브젝트니스 예측을 통합할 경우 모델의 새로운 카테고리 탐지 및 세그멘테이션 능력은 어떻게 영향을 받는가?
• RQ3 사전 훈련된 오브젝트니스 모듈을 사용할 경우 표준 희소 샘플 세그멘테이션 접근 방식에 비해 더 나은 일반화 성능을 보이는가?
• RQ4 오브젝트니스 가이던스는 얼마나 많은 대규모 정밀 애너테이션의 필요성을 줄일 수 있는가?

주요 결과

• 제안된 방법은 새로운 카테고리당 단일 애너테이션 예시만으로 PASCAL-5i 벤치마크에서 평균 교차율(mIoU) 57.9%를 달성한다.
• COCO-20i 데이터셋에서 단일 지원 예시를 사용하여 모델은 mIoU 22.6%를 기록하며 기존 베이스라인을 능가한다.
• 오브젝트니스 사전 지식의 통합은 특히 소형 또는 모호한 객체에 대해 세그멘테이션 정확도를 크게 향상시킨다.
• 사전 훈련된 오브젝트니스 모듈은 새로운 카테고리로 잘 일반화되어, 새로운 클래스에 대한 광범위한 피니팅이 필요로 하는 것을 줄인다.