[논문 리뷰] Cross-domain Few-shot Learning with Task-specific Adapters

Weihong Li, Xialei Liu외 1명|arXiv (Cornell University)|2021. 07. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 9

한 줄 요약

이 논문은 소규모 지원 집합에서 끝내기 위해 태스크별 어댑터를 직접 최적화하는 새로운 교차 도메인 few-shot 학습 프레임워크를 제안한다. 보조 네트워크를 통해 어댑터 가중치를 예측할 필요 없이, 다수의 백본 레이어에 잔차 연결이 구현된 행렬 어댑터를 사용함으로써, Meta-Dataset에서 최신 기술 수준의 성능을 달성하면서도 계산 비용을 최소화하며, 예측 불가능한 도메인으로의 제로샷 일반화 능력을 크게 향상시킨다.

ABSTRACT

In this paper, we look at the problem of cross-domain few-shot classification that aims to learn a classifier from previously unseen classes and domains with few labeled samples. Recent approaches broadly solve this problem by parameterizing their few-shot classifiers with task-agnostic and task-specific weights where the former is typically learned on a large training set and the latter is dynamically predicted through an auxiliary network conditioned on a small support set. In this work, we focus on the estimation of the latter, and propose to learn task-specific weights from scratch directly on a small support set, in contrast to dynamically estimating them. In particular, through systematic analysis, we show that task-specific weights through parametric adapters in matrix form with residual connections to multiple intermediate layers of a backbone network significantly improves the performance of the state-of-the-art models in the Meta-Dataset benchmark with minor additional cost.

연구 동기 및 목표

• 테스트 데이터가 미리 보지 못한 도메인에서 오는 소수의 레이블이 있는 샘플로 구성된 교차 도메인 few-shot 분류 문제를 해결한다.
• 기존 방법들이 태스크별 어댑터 가중치를 동적으로 예측하기 위해 보조 네트워크에 의존하는 한계를 극복한다.
• 메타테스팅 동안 소규모 지원 집합에서 직접 태스크별 어댑터를 학습시킴으로써, 새로운 도메인으로의 일반화 능력을 향상시킨다.
• 적절한 few-shot 적응을 위해 어댑터 아키텍처의 설계 선택 사항(예: 연결 유형, 파rameterization)을 체계적으로 평가한다.
• 전체 백본의 미세조정을 피함으로써 높은 성능를 달성하면서도 계산 비용을 낮추며 강력한 일반화 능력을 유지한다.

제안 방법

• 사전 학습된 백본 네트워크의 다수의 중간 레이어에 적용되는 학습 가능한 경량 행렬 변환으로서 태스크별 어댑터를 도입한다.
• 백본 특징와 어댑터 출력 사이에 잔차 연결을 사용하여 학습 안정성과 기울기 흐름을 향상시킨다.
• 메타테스팅 동안 지원 집합을 사용하여 어댑터 파라미터를 직접 초기화된 상태에서 최적화함으로써 별도의 보조 네트워크가 필요 없도록 한다.
• 다양한 어댑터 아키텍처(예: 직렬 및 잔차 연결)와 효율적인 저랭크 근사치를 탐색하여 파라미터를 감소시킨다.
• 다양한 도메인에서 메타트레이닝 동안 태스크에 관계없는 백본 가중치를 학습하고, 메타테스팅 동안에는 오직 태스크별 어댑터만을 적응시킨다.
• 각 에피소드에서 지원 집합에 대해 어댑터 파라미터를 엔드 투 엔드로 최적화하기 위해 표준 교차 엔트로피 손실을 사용한다.

실험 결과

연구 질문

• RQ1 소규모 지원 집합에서 보조 네트워크에 의존하지 않고 태스크별 어댑터를 직접 초기화하여 효과적으로 학습시킬 수 있는가?
• RQ2 다양한 어댑터 아키텍처(예: 잔차 연결 대비 직렬 연결)가 교차 도메인 few-shot 학습에서 성능에 어떤 영향을 미치는가?
• RQ3 저랭크 파arameterization이 어댑터의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 보조 네트워크를 통한 동적 예측과 비교할 때, 어댑터를 직접 최적화하는 방법이 새로운 도메인으로의 일반화 능력에서 어떤가?
• RQ5 이 방법은 낮은 추론 비용을 유지하면서도 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• 제안된 방법은 Meta-Dataset 벤치마크에서 기존 방법들인 URL, Finetune+NCC, Simple CNAPS를 모두 능가하는 최신 기술 수준의 성능를 달성한다.
• 이 방법은 ImageNet에서 태스크당 추론 비용을 7.2초로 줄여, 전체 미세조정(7.7초)보다 훨씬 낮추고 가장 빠른 베이스라인(0.7초)과 경쟁하면서도 훨씬 높은 정확도를 달성한다.
• 저랭크 근사치를 적용한 잔차 연결이 구현된 행렬 어댑터는 파라미터 증가를 최소화하면서도 뛰어난 성능를 보이며, 효율성과 효과성 모두 입증한다.
• 정성적 결과는 기존 베이스라인들이 색상, 형태 또는 배경 유사성에 기반해 이미지를 검색하는 데 반해, 본 모델이 의미적으로 유사한 이미지를 더 정확하게 검색함을 보여준다.
• Birds, Traffic Sign, CIFAR-100과 같은 도전적인 데이터셋에서의 올바른 최근접 이웃 예측 결과를 통해, 본 방법이 더 나은 도메인 일반화 능력을 보임을 입증한다.
• 제거 실험 결과는 특히 교차 도메인 설정에서 보조 네트워크를 통한 동적 예측보다 직접 어댑터 최적화가 더 높은 성능를 낼 수 있음을 확인한다.