[논문 리뷰] Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation

Hung-Yu Tseng, Hsin-Ying Lee외 2명|arXiv (Cornell University)|2020. 01. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 65인용 수 179

한 줄 요약

본 논문은 특징 활성화를 보강하기 위한 특징-별 변환 계층(feature-wise transformation layers)을 도입하고, 학습-대-학습(learning-to-learn) 전략을 사용하여 이러한 계층을 최적화하여 도메인 시프트 하에서 unseen 도메인에 대한 일반화를 향상시킨 메트릭 기반의 페치-샷 분류기를 제시한다.

ABSTRACT

Few-shot classification aims to recognize novel categories with only few labeled images in each class. Existing metric-based few-shot classification algorithms predict categories by comparing the feature embeddings of query images with those from a few labeled images (support examples) using a learned metric function. While promising performance has been demonstrated, these methods often fail to generalize to unseen domains due to large discrepancy of the feature distribution across domains. In this work, we address the problem of few-shot classification under domain shifts for metric-based methods. Our core idea is to use feature-wise transformation layers for augmenting the image features using affine transforms to simulate various feature distributions under different domains in the training stage. To capture variations of the feature distributions under different domains, we further apply a learning-to-learn approach to search for the hyper-parameters of the feature-wise transformation layers. We conduct extensive experiments and ablation studies under the domain generalization setting using five few-shot classification datasets: mini-ImageNet, CUB, Cars, Places, and Plantae. Experimental results demonstrate that the proposed feature-wise transformation layer is applicable to various metric-based models, and provides consistent improvements on the few-shot classification performance under domain shift.

연구 동기 및 목표

• 메트릭 기반의 페치-샷 분류에서 학습 중 특징 분포를 보강하여 도메인 시프트를 해결한다.
• 중간 특징에 선형 변환을 적용하는 특징-별 변환 계층을 제안한다.
• 이 변환 계층의 하이퍼파라미터를 최적화하기 위한 학습-대-학습 알고리즘을 개발한다.
• 표준 페치-샷 벤치마크에서 다수의 도메인 시프트를 통해 일반화가 개선되었음을 입증한다.

제안 방법

• 특징 인코더의 배치 정규화 뒤에 특징-별 변환 계층을 삽입하여 gamma와 beta를 학습된 하이퍼파라미터로 매개변수화된 가우시안 분포에서 샘플링하고 양자화된 변환을 적용한다.
• 공식적으로, gamma ~ N(1, softplus(theta_gamma)) 및 beta ~ N(0, softplus(theta_beta))이며 z_hat = gamma * z + beta이고 여기서 z는 중간 활성화다.
• 도메인 간의 다양한 특성 분포를 시뮬레이션하기 위해 인코더 전체에 걸쳐 여러 계층을 사용한다.
• 일반화를 최대화하도록 pseudo-seen 및 pseudo-unseen 도메인에서 학습하는 학습-대-학습 루프로 하이퍼파라미터 theta_gamma 및 theta_beta를 최적화한다.
• 하이레벨 구조(Eq. 5–7)와 유사한 바이레벨 방식으로 메트릭 기반 모델 매개변수와 특징-별 변환 하이퍼파라미터를 함께 최적화한다.
• ResNet-10 백본을 사용하는 5-웨이 태스크에서 다섯 개 데이터셋(mini-ImageNet, CUB, Cars, Places, Plantae) 및 다섯 개 데이터셋에서 5-way 태스크를 대상으로 세 가지 메트릭 기반 백본(MatchingNet, RelationNet, GNN)을 평가한다.

실험 결과

연구 질문

• RQ1 특징-별 변환 계층이 페치-샷 분류의 도메인 일반화를 향상시킬 수 있는가?
• RQ2 이 계층의 하이퍼파라미터를 도메인 간 특성 분포 변 variation를 포착하도록 어떻게 최적화할 수 있는가?
• RQ3 학습-대-학습 전략이 unseen 도메인에서의 성능 향상을 위해 증강 매개변수를 효과적으로 조정하는가?
• RQ4 Augmented 표현이 다양한 도메인에서 여러 메트릭 기반 베이스라인(MatchingNet, RelationNet, GNN)에 어떤 영향을 미치는가?

주요 결과

• 특징-별 변환 계층은 모든 테스트 백본에서 도메인 시프트 하에서 페치-샷 정확도에 일관된 개선을 가져온다.
• 변환 매개변수의 학습-대-학습 최적화는 수동으로 조정된 값보다 일반화를 더 향상시킨다.
• t-SNE 시각화는 변환 계층 사용 시 도메인 간 거리가 감소함을 보여주며, 특징의 도메인 간 정렬이 개선되었음을 시사한다.
• leave-one-domain-out 평가에서 학습-대-학습 최적화가 고정된 사전 정의 매개변수 설정보다 우수하다.
• 제안된 계층을 가진 GNN은 seen와 unseen 도메인 모두에서 강한 성능을 달성하며 종종 베이스라인을 능가한다.