[논문 리뷰] Transductive Information Maximization For Few-Shot Learning

Mohamed Amine Boudiaf, Imtiaz Masud Ziko외 4명|arXiv (Cornell University)|2020. 08. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 49

한 줄 요약

TIM은 몇-shot 작업에서 질의 특징과 레이블 예측 간의 상호정보를 최대화하고, 지원 세트 감독과 결합되며, 추론에 빠른 ADMM-형 솔버를 사용하여 준전개적 추론을 수행하고, 복잡한 메타학습 없이도 최첨단 결과를 제공합니다.

ABSTRACT

We introduce Transductive Infomation Maximization (TIM) for few-shot learning. Our method maximizes the mutual information between the query features and their label predictions for a given few-shot task, in conjunction with a supervision loss based on the support set. Furthermore, we propose a new alternating-direction solver for our mutual-information loss, which substantially speeds up transductive-inference convergence over gradient-based optimization, while yielding similar accuracy. TIM inference is modular: it can be used on top of any base-training feature extractor. Following standard transductive few-shot settings, our comprehensive experiments demonstrate that TIM outperforms state-of-the-art methods significantly across various datasets and networks, while used on top of a fixed feature extractor trained with simple cross-entropy on the base classes, without resorting to complex meta-learning schemes. It consistently brings between 2% and 5% improvement in accuracy over the best performing method, not only on all the well-established few-shot benchmarks but also on more challenging scenarios,with domain shifts and larger numbers of classes.

연구 동기 및 목표

• 새로운 클래스에 대한 한정된 라벨 데이터로 소수-shot 학습 필요성을 동기부여합니다.
• 질의 특징과 라벨 간의 상호정보를 기반으로 한 준전개 추론 목표를 제안합니다.
• 교차 엔트로피 손실을 통해 지원 세트의 감독 정보를 포함합니다.
• 추론 속도를 높이기 위한 빠른 솔버(교대방향/ADMM) 개발을 제시합니다.
• 표준 FSL 벤치마크 및 도메인 이동 시나리오에서 강력한 경험적 이득을 보여줍니다.

제안 방법

• TIM 손실을 지원 세트에 대한 CE로 정의하고, 질의 세트에 대한 경험적 상호정보 항을 뺀 뒤 퇴화된 해를 방지하기 위한 주변 엔트로피 정규화 항을 도입합니다.
• MI 항을 다음과 같이 표현합니다: - H_hat(Y_Q) + alpha * (1/|Q|) sum_{i in Q} sum_{k} p_{ik} log p_{ik}, 여기서 p_{ik} ~ exp(-tau/2 * ||w_k - z_i||^2) 이고 z_i는 L2-정규화된 임베딩입니다.
• 질의 라벨에 대한 보조 할당 행렬 q를 도입하고 ADMM-유사 업데이트로 근사된 제약 최적화를 공식화합니다.
• 두 가지 최적화 전략을 제공합니다: TIM-GD(분류기 가중치 W만 기울기 기반으로 업데이트)와 TIM-ADM(W와 q를 교대 업데이트하되 닫힌 형태의 단계로 수행) .
• 라벨 주변 엔트로피 항이 최적화 안정성과 런타임을 개선한다는 것을 보여줍니다.

실험 결과

연구 질문

• RQ1 메타학습 없이도 준전개 상호정보 목표가 소수-shot 학습을 향상시킬 수 있는가?
• RQ2 라벨 주변 엔트로피 정규화 항을 포함하면 퇴화된 해를 방지하고 수렴 속도를 높일 수 있는가?
• RQ3 TIM에서 기울기 기반과 ADMM-유사 솔버의 정확도와 속도 차이는 무엇인가?
• RQ4 도메인 이동 및 더 높은 방식에서 TIM이 소수-shot 작업에 대해 견고한가?
• RQ5 TIM을 서로 다른 백본에서 고정된 기본 학습 특징 추출기 위에 탑재할 수 있는가?

주요 결과

• TIM은 1-shot 및 5-shot 설정에서 ResNet-18 백본과 WRN-28-10을 사용한 준전개 태스크에서 mini-ImageNet, tiered-ImageNet, CUB 전반에 걸쳐 최첨단 결과를 달성합니다.
• TIM-GD와 TIM-ADM은 기존의 준전개 및 귀납적 방법을 지속적으로 능가하며, TIM-ADM은 더 빠른 추론을 제공합니다.
• 라벨 주변 엔트로피 항은 정확도(및 최적화)를 크게 향상시키며 준전개 런타임을 수 배에서 수십 배까지 줄일 수 있습니다.
• 일부 선행 연구처럼 트랜스덕션 동안 전체 백본을 미세 조정하는 것은 TIM 성능을 저하시킬 뿐 아니라 훨씬 느립니다.
• TIM은 도메인 이동(mini-ImageNet에서 CUB) 및 더 높은 방식(10-way, 20-way)에서도 강력한 성능을 보여줍니다.
• ADM 기반 솔버(TIM-ADM)는 TIM-GD에 비해 태스크당 추론 시간을 약 한 자릿수로, 기존의 준전개 방법에 비해 두 자릿수 이상으로 줄입니다.