[논문 리뷰] Focus on Query: Adversarial Mining Transformer for Few-Shot Segmentation

Yuan Wang, Naisong Luo외 1명|arXiv (Cornell University)|2023. 11. 29.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 쿼리 중심의 소수 샘플 세그멘테이션 모델인 Adversarial Mining Transformer (AMFormer)을 제안하며, 세부적인 지원 정보를 추출하는 대신 쿼리 특징을 정교화하는 데 초점을 맞춰 최신 기술 수준의 성능을 달성한다. 이 모델은 전역 확장 네트워크(G)와 세부 정보 탐색 네트워크(D) 간의 적대적 훈련 기반으로, 내부 객체 유사도를 활용해 근사 예측을 점진적으로 정교화하며, 뚜렷한 지원 레이블만으로도 Pascal-5i에서 76.8% mIoU를 달성한다.

ABSTRACT

Few-shot segmentation (FSS) aims to segment objects of new categories given only a handful of annotated samples. Previous works focus their efforts on exploring the support information while paying less attention to the mining of the critical query branch. In this paper, we rethink the importance of support information and propose a new query-centric FSS model Adversarial Mining Transformer (AMFormer), which achieves accurate query image segmentation with only rough support guidance or even weak support labels. The proposed AMFormer enjoys several merits. First, we design an object mining transformer (G) that can achieve the expansion of incomplete region activated by support clue, and a detail mining transformer (D) to discriminate the detailed local difference between the expanded mask and the ground truth. Second, we propose to train G and D via an adversarial process, where G is optimized to generate more accurate masks approaching ground truth to fool D. We conduct extensive experiments on commonly used Pascal-5i and COCO-20i benchmarks and achieve state-of-the-art results across all settings. In addition, the decent performance with weak support labels in our query-centric paradigm may inspire the development of more general FSS models. Code will be available at https://github.com/Wyxdm/AMNet.

연구 동기 및 목표

• 현재 소수 샘플 세그멘테이션 방법이 높은 내부 클래스 다양성 하에서 특히 세밀한 지원 정보에 과도하게 의존하는 한계를 해결하기 위해.
• 정확한 쿼리 이미지 세그멘테이션을 위해 뚜렷한 범주 수준의 지원 가이던스만으로도 충분한지 조사하기 위해.
• 내부 객체 유사도를 활용해 불완전한 활성화에서 완전한 객체 마스크를 복구할 수 있는 쿼리 중심의 파라다임을 개발하기 위해.
• 정확한 지원 레이블에 대한 의존도를 줄이기 위해, 약한 또는 불완전한 지원 레이블에 강건한 모델을 설계하기 위해.
• 지역적 세부 정보 식별을 통한 근사 예측의 적대적 정교화를 통해 세그멘테이션 정확도를 향상시키기 위해.

제안 방법

• 내부 객체 특징 유사도를 활용해 지원으로 유도된 영역이 불완전한 쿼리 이미지에서 확장하는 객체 마이닝 트랜스포머(G)를 도입한다.
• 확장된 마스크와 진짜 마스크 간의 국소적 불일치를 식별하여 정교화를 이끄는 세부 정보 마이닝 트랜스포머(D)를 제안한다.
• G가 D를 속이기 위해 점차 정확한 마스크를 생성하도록 하는 적대적 훈련 목표를 적용하여, 근사에서 정밀한 정교화를 가능하게 한다.
• D에서 가용한 국소 프록시를 사용해 모호한 영역(예: 객체 경계)에 집중함으로써 정위치 정확도를 향상시킨다.
• G에서 다중 해상도 특징 집약을 적용해 쿼리 이미지 내 다양한 크기의 객체를 처리한다.
• D에 다각도 손실($\mathcal{L}_{div}$)을 통합하여 프록시가 동일한 영역로 수렴하는 것을 방지하고, 포괄적인 특징 커버리지를 보장한다.

실험 결과

연구 질문

• RQ1 세밀한 픽셀 수준의 지원 특징이 아닌 뚜렷한 범주 수준의 지원 가이던스만으로도 소수 샘플 세그멘테이션 모델이 높은 성능을 달성할 수 있는가?
• RQ2 높은 내부 클래스 다양성 하에서, 마스크 정교화를 이끄는 데 있어 내부 객체 유사도가 상호 객체 또는 내부 범주 유사도보다 더 우수한가?
• RQ3 전역 확장 네트워크와 국소 세부 정보 식별자 간의 적대적 훈련이 세밀한 지원 감시에 의존하지 않고도 세그멘테이션 정확도를 향상시킬 수 있는가?
• RQ4 약한 지원 레이블(예: 경계 상자, 스크래치)이 쿼리 중심의 FSS 모델의 성능에 어떤 영향을 미치는가?
• RQ5 다중 해상도 특징 집약은 다양한 객체 크기에서 마스크 예측의 강건성을 어떻게 향상시키는가?

주요 결과

• AMFormer는 1-shot 설정에서 Pascal-5i 벤치마크에서 76.8% mIoU를 달성하여 새로운 최신 기술 수준의 성능을 확립했다.
• 지원 특징의 80%가 삭제된 상황에서도 모델은 69.3% mIoU의 강력한 성능 유지를 보이며, 불완전한 지원 정보에 대한 강건성을 입증했다.
• 세부 정보 마이닝 트랜스포머(D)를 추가하면 G만 사용할 경우 대비 1.2% mIoU 향상되며, 이 성과 향상에 다각도 손실($\mathcal{L}_{div}$)이 핵심적인 역할을 한다.
• D에서 10개의 국소 프록시를 사용할 경우 최적의 성능을 달성하며, 더 많은 프록시는 중복으로 인해 수익 감소 효과를 보인다.
• Pascal-5i에서 경계 상자 지원 시 73.1% mIoU, 스크래치 지원 시 71.5% mIoU를 기록하여, 약한 감시 하에서도 가능성을 입증했다.
• 시각화 결과는 실제 지원보다 쿼리 특징과의 비일치가 적어 더 완전한 객체 특징을 반영하는 것으로 확인되었으며, 뚜렷한 지침에서 생성된 가짜 지원 이미지가 더 우수한 성능을 보였다.