[논문 리뷰] PFENet++: Boosting Few-shot Semantic Segmentation with the Noise-filtered Context-aware Prior Mask

Xiaoliu Luo, Zhuotao Tian외 4명|arXiv (Cornell University)|2021. 09. 28.

Advanced Neural Network Applications참고 문헌 54인용 수 7

한 줄 요약

PFENet++는 개체 정위를 향상시키기 위해 고수준 특징 간의 지역적 상관관계를 활용하는 Context-aware Prior Mask (CAPM)와 지원 특징에서 노이즈가 섞인 반응을 제거하는 Noise Suppression Module (NSM)를 도입함으로써 소수 샘플 세분화 성능을 향상시킨다. 이 방법은 효율성을 저하시키지 않은 채 PASCAL-5i, COCO-20i, FSS-1000 벤치마크에서 새로운 최고 성능을 달성한다.

ABSTRACT

In this work, we revisit the prior mask guidance proposed in ``Prior Guided Feature Enrichment Network for Few-Shot Segmentation''. The prior mask serves as an indicator that highlights the region of interests of unseen categories, and it is effective in achieving better performance on different frameworks of recent studies. However, the current method directly takes the maximum element-to-element correspondence between the query and support features to indicate the probability of belonging to the target class, thus the broader contextual information is seldom exploited during the prior mask generation. To address this issue, first, we propose the Context-aware Prior Mask (CAPM) that leverages additional nearby semantic cues for better locating the objects in query images. Second, since the maximum correlation value is vulnerable to noisy features, we take one step further by incorporating a lightweight Noise Suppression Module (NSM) to screen out the unnecessary responses, yielding high-quality masks for providing the prior knowledge. Both two contributions are experimentally shown to have substantial practical merit, and the new model named PFENet++ significantly outperforms the baseline PFENet as well as all other competitors on three challenging benchmarks PASCAL-5$^i$, COCO-20$^i$ and FSS-1000. The new state-of-the-art performance is achieved without compromising the efficiency, manifesting the potential for being a new strong baseline in few-shot semantic segmentation. Our code will be available at https://github.com/luoxiaoliu/PFENet2Plus.

연구 동기 및 목표

• 소수 샘플 세분화에서 이전 마스크 생성 기법이 고수준 맥락 정보를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 우선 마스크 계산 과정에서 발생하는 노이즈 특징 반응이 마스크 품질과 일반화 능력을 떨어뜨리는 부정적 영향을 완화하기 위해.
• 특히 ImageNet에 포함되지 않은 분류에 대해서도 일반화 능력을 향상시키기 위해.
• 기존 소수 샘플 세분화 프레임워크에 쉽게 통합할 수 있는 모델에 종속되지 않는 우선 마스크 생성 기법을 개발하기 위해.

제안 방법

• 고수준 특징에서 더 풍부한 공간-맥락 정보를 캡처하기 위해 요소 간 상관관계를 지역적 상관관계 모델링으로 대체하는 Context-aware Prior Mask (CAPM)를 제안한다.
• 질의 및 지원 특징 간 상관관계 분포를 분석하여 관련성 없거나 노이즈가 섞인 반응을 억제하는 경량의 Noise Suppression Module (NSM)를 도입한다.
• 개별 특징 요소 대신 지역적 특징 패치를 사용해 상관관계를 계산함으로써 정확도와 강건성을 향상시킨다.
• CAPM과 NSM를 파rameter-free 방식으로 적용하여 다양한 인코더-디코더 프레임워크와의 호환성을 확보한다.
• 개선된 우선 마스크를 디코더의 추가 입력으로 통합하여 네트워크 주 구조를 수정하지 않고도 특징 정제를 유도한다.
• 간단하면서도 효과적인 파이프라인을 활용: 백본을 통해 특징을 추출하고, 지역적 상관관계로 CAPM을 계산하며, NSM을 적용해 노이즈를 필터링하고, 최종 우선 마스크를 중간 수준의 특징과 연결하여 세분화를 수행한다.

실험 결과

연구 질문

• RQ1 고수준 특징에서 지역적 공간 맥락을 모델링하면 소수 샘플 세분화에서 우선 마스크 품질과 성능 향상에 기여할 수 있는가?
• RQ2 학습 가능한 경량 모듈을 통해 지원 특징에서 노이즈가 섞인 반응을 제거하면, 미리보지 않은 분류로의 일반화 능력 향상에 기여하는가?
• RQ3 제안된 CAPM과 NSM는 원래 PFENet 아키텍처를 초월해 다양한 소수 샘플 세분화 프레임워크에 효과적으로 적용될 수 있는가?
• RQ4 ImageNet에 포함되지 않은 완전히 새로운 클래스에 대해 우선 마스크 생성 기법의 성능 스케일링 능력은 어떠한가?
• RQ5 ImageNet과 겹치지 않는 1,000개의 클래스를 포함하는 FSS-1000과 같은 도전적인 벤치마크에서 제안된 방법이 성능 향상에 얼마나 기여하는가?

주요 결과

• ImageNet에 포함되지 않은 420개의 새로운 클래스를 포함하는 FSS-1000 벤치마크에서, PFENet++는 1-shot 시 83.6% mIoU, 5-shot 시 84.8% mIoU를 기록하여 기준 모델인 PFENet(80.8% 및 81.4%)과 원래 우선 마스크 방법(80.8% 및 81.4%)을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• PASCAL-5i에서 'person' 클래스에 대해 48.56% mIoU를 달성하여 원래 PFENet의 15.81%에 비해 극적으로 향상되었으며, 이는 새로운 분류로의 강력한 일반화 능력을 입증한다.
• SCL과 ASGNet에 적용했을 때, 제안된 CAPM과 NSM는 1-shot 시 3.1–3.3% 향상, 5-shot 시 2.7–3.2% 향상되며, 다양한 프레임워크 간 일반화 능력을 확인한다.
• 제거 분석 결과, CAPM과 NSM 모두 성능 향상에 기여하며, 특히 NSM가 노이즈 반응 감소에 뛰어난 효과를 보임을 확인했다.
• 높은 효율성을 유지하면서도 기존 소수 샘플 세분화 모델에 즉각 통합 가능한 플러그인 모듈로 적용 가능하여 실용적 활용가치가 높음을 입증했다.