[논문 리뷰] Improving Task Adaptation for Cross-domain Few-shot Learning.

Weihong Li, Xialei Liu외 1명|arXiv (Cornell University)|2021. 07. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 5

한 줄 요약

이 논문은 컨볼루션 레이어에 부착된 잔차 연결을 갖춘 파라미터화된 어댑터를 제안하여 다중 도메인 소수 샘플 학습을 향상시킨다. 메타테스트 중 기존 모델에 이러한 어댑터를 통합함으로써, 계산 비용을 최소화하면서도 Meta-Dataset 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we look at the problem of cross-domain few-shot classification that aims to learn a classifier from previously unseen classes and domains with few labeled samples. We study several strategies including various adapter topologies and operations in terms of their performance and efficiency that can be easily attached to existing methods with different meta-training strategies and adapt them for a given task during meta-test phase. We show that parametric adapters attached to convolutional layers with residual connections performs the best, and significantly improves the performance of the state-of-the-art models in the Meta-Dataset benchmark with minor additional cost. Our code will be available at this https URL.

연구 동기 및 목표

• 라벨이 극도로 제한된 새로운 도메인과 클래스에서의 소수 샘플 분류 문제를 해결한다.
• 기존 소수 샘플 학습 모델에 원활하게 통합될 수 있는 효율적이고 효과적인 어댑터 아키텍처를 탐구한다.
• 다중 도메인 소수 샘플 설정에서 성능와 추론 효율성 간의 균형을 맞추기 위해 어댑터의 구조와 연산을 최적화한다.
• 메타테스트 중에 재학습 없이도 사전 학습된 모델에 어댑터를 부착함으로써 작업 적응을 가능하게 한다.
• 최소한의 아키텍처 수정을 통해 Meta-Dataset 벤치마크에서 최신 기술 수준 모델의 일반화 성능을 향상시킨다.

제안 방법

• 사전 학습된 모델의 컨볼루션 레이어에 경량 모듈인 파라미터화된 어댑터를 삽입한다.
• 어댑터 적용 시 훈련 안정성과 기울기 흐름 향상을 위해 잔차 연결을 사용한다.
• 메타테스트 단계에서 어댑터를 적용하여 메타학습 업데이트 없이도 새로운 작업에 모델을 적응시킨다.
• 가장 효과적인 구성으로 도달하기 위해 다양한 어댑터 아키텍처와 연산을 평가한다.
• 다양한 메타학습 전략을 갖춘 기존 소수 샘플 학습 방법에 어댑터를 부착하여 일반화 능력을 평가한다.
• 작업별 적응을 위해 추론 중에 엔드 투 엔드 미세조정을 통해 어댑터 파라미터를 최적화한다.

실험 결과

연구 질문

• RQ1 다중 도메인 소수 샘플 학습에서 성능와 효율성 간의 최적 균형을 이루는 데 가장 적합한 어댑터 아키텍처와 연산은 무엇인가?
• RQ2 잔차 연결을 갖춘 파라미터화된 어댑터는 사전 학습된 모델을 새로운 도메인과 클래스에 효과적으로 적응시키는 데 얼마나 효과적인가?
• RQ3 메타학습 업데이트 없이도 메타테스트 중에 어댑터를 효과적으로 적용할 수 있는가?
• RQ4 어댑터는 Meta-Dataset 벤치마크에서 최신 기술 수준 모델의 성능을 어느 정도 향상시키는가?
• RQ5 성능 향상에 비해 어댑터 통합의 계산 비용은 얼마나 되는가?

주요 결과

• 잔차 연결을 갖춘 파라미터화된 어댑터는 정확도와 효율성 측면에서 다른 모든 어댑터 구성보다 뛰어나다.
• 제안된 어댑터 설계는 Meta-Dataset 벤치마크에서 최신 기술 수준 모델의 성능을 크게 향상시킨다.
• 이 방법은 추론 비용이 약간 증가할 뿐이므로 실세계 구현에 실용적이다.
• 어댑터는 메타학습 중에 대상 도메인을 본 바가 없더라도 메타테스트 중에 효과적인 작업 적응을 가능하게 한다.
• 다양한 메타학습 전략과 기본 모델에 걸쳐 잘 일반화된다.