[논문 리뷰] Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification

Bingyu Liu, Zhen Zhao외 4명|arXiv (Cornell University)|2020. 05. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 5인용 수 25

한 줄 요약

이 논문은 교차 도메인 소수 학습(CD-FSL)을 위한 배치 스펙트럼 정규화(БСR)를 갖춘 특성 변환 앙상블 모델을 제안한다. 사전 훈련 중 다양한 특성 투영과 스펙트럼 정규화를 통해 도메인 간 일반화 능력을 향상시킨다. 이 방법은 앙상블 설정에서 BSR+LP+DA를 사용하여 CD-FSL 벤치마크에서 평균 정확도 73.94%의 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we propose a feature transformation ensemble model with batch spectral regularization for the Cross-domain few-shot learning (CD-FSL) challenge. Specifically, we proposes to construct an ensemble prediction model by performing diverse feature transformations after a feature extraction network. On each branch prediction network of the model we use a batch spectral regularization term to suppress the singular values of the feature matrix during pre-training to improve the generalization ability of the model. The proposed model can then be fine tuned in the target domain to address few-shot classification. We also further apply label propagation, entropy minimization and data augmentation to mitigate the shortage of labeled data in target domains. Experiments are conducted on a number of CD-FSL benchmark tasks with four target domains and the results demonstrate the superiority of our proposed model.

연구 동기 및 목표

• 목표 도메인의 레이블 데이터가 극도로 부족한 소수 학습 환경에서 도메인 이동 문제를 해결하기 위해.
• 사전 훈련 중 소스 도메인에 대한 과적합을 억제함으로써 도메인 간 일반화 능력을 향상시키기 위해.
• 앙상블 학습과 데이터 증강을 통해 자원이 제한된 목표 도메인에서 예측의 견고성과 성능을 향상시키기 위해.
• 미세 조정 단계에서 레이블 전파와 엔트로피 최소화를 사용하여 목표 도메인의 레이블 부족 문제를 완화하기 위해.

제안 방법

• 다양한 앙상블 브랜치에서 다양한 특성 표현 공간을 생성하기 위해 특성 추출을 위해 ResNet-10 백본을 사용하고, 이후 무작위 직교 투영 행렬을 적용한다.
• 사전 훈련 중 특성 행렬의 모든 특이값을 억제하기 위해 배치 스펙트럼 정규화(БСR)를 적용하여 목표 도메인으로의 일반화 능력을 향상시킨다.
• 각각 다른 변환된 특성 공간에서 훈련된 M개의 분류기로 구성된 앙상블을 활용하며, 최종 예측은 평균화하여 견고성을 확보한다.
• 미세 조정 단계에서 레이블 전파(LP)와 데이터 증강(DA)을 통합하여 미지의 쿼리 데이터를 활용하고 일반화 능력을 향상시킨다.
• 무료 쿼리 샘플에 대해 확신 있는 출력을 유도함으로써 예측을 개선하기 위해 엔트로피 최소화를 사용한다.
• 작은 배치 SGD와 운동량을 사용하여 훈련하며, 사전 훈련 및 미세 조정 단계에서 각 브랜치에 대해 БСR 정규화와 함께 교차 엔트로피 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 표준 미세 조정 대비 특성 변환된 예측기의 앙상블이 교차 도메인 소수 학습 일반화 능력을 향상시키는가?
• RQ2 배치 스펙트럼 정규화가 소스 도메인에 대한 과적합을 효과적으로 억제하고 목표 도메인으로의 전이 능력을 향상시키는가?
• RQ3 레이블 전파와 데이터 증강이 저샷 목표 도메인에서 성능 향상에 기여하는 방식은 무엇인가?
• RQ4 БСR, LP, DA의 조합이 개별 구성 요소보다 우수한 성능을 내는가?

주요 결과

• 제안된 БСR+LP+DA 앙상블 모델은 모든 데이터셋과 샷 수준에서 평균 정확도 73.94%를 달성하여 강력한 미세 조정 기반 베이스라인(67.23%)을 크게 능가한다.
• 앙상블이나 추가 구성 요소 없이도 БСR만으로도 성능이 70.76%로 향상되어 도메인 이동을 줄이는 데 효과적임을 입증한다.
• БСR의 앙상블 버전은 정확도를 72.35%까지 끌어올려 특성 변환의 다양성이 견고성을 향상시킨다는 것을 보여준다.
• 레이블 전파가 소스 도메인과 가까운 도메인에서 일관되게 성능 향상을 이끌어내지만, 데이터 증강은 거리가 먼 도메인에서 더 효과적이다.
• ISIC2018 도메인에서는 데이터 증강이 성능을 떨어뜨리는 것으로 나타나 도메인 특화된 효과를 보이며, 엔트로피 최소화는 더 적은 계산 비용으로 DA와 유사한 성능을 제공한다.
• 최고의 성능을 보인 구성(BСR+LP+DA, 앙상블)은 CropDiseases에서 88.13% ± 0.49%, EuroSAT에서 94.72% ± 0.28%, ChestX에서 99.73% ± 0.06%를 기록하여 강력한 교차 도메인 적응 능력을 입증한다.