[논문 리뷰] RestNet: Boosting Cross-Domain Few-Shot Segmentation with Residual Transformation Network

X. T. Huang, Chuang Zhu외 1명|arXiv (Cornell University)|2023. 08. 25.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 교차 도메인 소수 샘플 분할을 위한 새로운 잔차 변환 네트워크인 RestNet을 제안한다. 이는 도메인 간 지식 전이를 향상시키면서도 중요한 내부 도메인 지원-질의 특징 관계를 유지한다. 도메인에 관계없이 특징을 학습하기 위한 의미적 강화 앵커 변환(SEAT)과 원래의 분류 특징을 유지하기 위한 내부 도메인 잔차 향상(IRE) 모듈을 도입함으로써, RestNet은 ISIC, 흉부 X-ray, FSS-1000에서 최신 기술 수준의 성능을 달성하면서도 최소한의 파라미터 오 overhead를 유발한다.

ABSTRACT

Cross-domain few-shot segmentation (CD-FSS) aims to achieve semantic segmentation in previously unseen domains with a limited number of annotated samples. Although existing CD-FSS models focus on cross-domain feature transformation, relying exclusively on inter-domain knowledge transfer may lead to the loss of critical intra-domain information. To this end, we propose a novel residual transformation network (RestNet) that facilitates knowledge transfer while retaining the intra-domain support-query feature information. Specifically, we propose a Semantic Enhanced Anchor Transform (SEAT) module that maps features to a stable domain-agnostic space using advanced semantics. Additionally, an Intra-domain Residual Enhancement (IRE) module is designed to maintain the intra-domain representation of the original discriminant space in the new space. We also propose a mask prediction strategy based on prototype fusion to help the model gradually learn how to segment. Our RestNet can transfer cross-domain knowledge from both inter-domain and intra-domain without requiring additional fine-tuning. Extensive experiments on ISIC, Chest X-ray, and FSS-1000 show that our RestNet achieves state-of-the-art performance. Our code will be available soon.

연구 동기 및 목표

• 기존의 교차 도메인 소수 샘플 분할 모델이 도메인 적응 과정에서 내부 도메인 특징 정보를 상실하는 한계를 해결하기 위해.
• 대상 도메인 미세조정 없이 도메인 간 지식 전이를 향상시키기 위해.
• 교차 도메인 특징 변환 과정에서 분류 능력 있는 내부 도메인 지원-질의 매칭을 유지하기 위해.
• 프로토타입 융합 기반의 마스크 예측 전략을 개발하여 점진적인 분할 학습을 가능하게 하기 위해.
• 최소한의 파라미터 증가로 다양한 교차 도메인 소수 샘플 분할 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 도메인 간 지식 전이를 위해 강력한 상호 도메인 간 지식 전이를 가능하게 하는 도메인에 관계없이 특징을 학습하는 데 사용되는 의미적 강화 앵커 변환(SEAT) 모듈을 제안한다. 이 모듈은 어텐션 메커니즘을 활용해 고급 의미적 특징을 추출하고 이를 도메인 간 영향을 받지 않는 공간으로 투영한다.
• 변환된 도메인 간 특징 공간에서 원래의 내부 도메인 특징 표현을 유지하기 위해 잔차 연결을 사용하는 내부 도메인 잔차 향상(IRE) 모듈을 도입한다.
• 거친 소프트 질의 마스크를 생성하고 반복적으로 개선함으로써 분할 정확도를 향상시키는 프로토타입 융합 기반의 마스크 예측 전략을 활용한다.
• 지원 및 질의 특징 간 공통된 어텐션 메커니즘을 사용하여 파라미터를 줄이고 의미 특징의 정렬을 향상시킨다.
• 이중 도메인 간 및 내부 도메인 간 지식 전이를 동시에 수행하도록 네트워크를 설계하여 대상 도메인의 미세조정에 의존하지 않도록 한다.
• 모델을 소스 도메인 데이터(예: PASCAL VOC)에서 엔드 투 엔드로 훈련하고, 추가 적응 없이도 미리 보지 못한 대상 도메인에 직접 적용한다.

(a) Previous CD-FFS Method [ Lei et al.(2022)Lei, Zhang, He, Chen, Du, and Lu ]

실험 결과

연구 질문

• RQ1 교차 도메인 소수 샘플 분할에서 내부 도메인 지원-질의 특징 관계를 유지하면서도 도메인 간 지식 전이를 향상시킬 수 있는가?
• RQ2 잔차 학습 메커니즘이 도메인 간 특징 변환 과정에서 분류 능력 있는 내부 도메인 특징을 어떻게 효과적으로 유지하는가?
• RQ3 프로토타입 융합 기반의 마스크 예측 전략은 새로운 도메인에서 더 효과적이고 점진적인 분할 학습을 가능하게 하는가?
• RQ4 통합 어텐션 메커니즘이 CD-FSS에서 성능을 유지하거나 향상시키면서도 얼마나 많은 파라미터를 줄일 수 있는가?
• RQ5 제안된 방법은 대상 도메인의 미세조정 없이도 ISIC, 흉부 X-ray, FSS-1000와 같은 다양한 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• RestNet은 FSS-1000 데이터셋에서 1-샷 교차 도메인 소수 샘플 분할에서 81.53% mIOU를 달성하여 이전 방법들을 능가한다.
• 절단 실험 결과, SEAT 및 IRE 모듈이 성능 향상에 크게 기여하며, MPS를 포함한 전체 모델이 FSS-1000에서 81.53% mIOU를 기록한다.
• 공유된 어텐션 메커니즘은 비공유 어텐션 대비 0.34% mIOU 향상(82.03% 대비 81.69%)을 이끌었으며, 동시에 파라미터를 감소시켰다.
• 시각화 결과, RestNet은 PATNet보다 훨씬 더 많은 내부 도메인 활성 매칭(지원-질의 유사도 > 0)을 유지하고 있음을 보여주며, 내부 도메인 지식의 유지 능력이 뛰어나다는 것을 확인한다.
• RestNet은 단지 2.5812M개의 추가 파라미터만 도입하여 최소한의 계산 오버헤드로도 매우 효율적임을 입증한다.
• 모델은 ISIC, 흉부 X-ray, FSS-1000와 같은 세 가지 주요 CD-FSS 벤치마크에서 대상 도메인의 미세조정 없이도 최신 기술 수준의 성능을 달성한다.

(b) Our Residual Transformation Network (RestNet)