[논문 리뷰] Learning to Learn Kernels with Variational Random Features

Xiantong Zhen, Haoliang Sun외 5명|UvA-DARE (University of Amsterdam)|2020. 06. 11.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 소수의 샘플에서 학습하는 환경에서 커널 방법에 적합한 무작위 푸리에 특징을 변분 추론을 통해 학습하는 메타학습 프레임워크인 MetaVRF를 제안한다. 무작위 특징의 스펙트럼 분포를 잠재 변수로 모델링하고, 과거의 작업들로부터 공유 지식을 추출하기 위해 LSTM 기반 추론 네트워크를 활용함으로써, MetaVRF는 낮은 샘플링 비율에서도 높은 성능을 보이는 커널을 달성하여 새로운 작업으로의 빠른 적응을 가능하게 한다.

ABSTRACT

In this work, we introduce kernels with random Fourier features in the meta-learning framework to leverage their strong few-shot learning ability. We propose meta variational random features (MetaVRF) to learn adaptive kernels for the base-learner, which is developed in a latent variable model by treating the random feature basis as the latent variable. We formulate the optimization of MetaVRF as a variational inference problem by deriving an evidence lower bound under the meta-learning framework. To incorporate shared knowledge from related tasks, we propose a context inference of the posterior, which is established by an LSTM architecture. The LSTM-based inference network can effectively integrate the context information of previous tasks with task-specific information, generating informative and adaptive features. The learned MetaVRF can produce kernels of high representational power with a relatively low spectral sampling rate and also enables fast adaptation to new tasks. Experimental results on a variety of few-shot regression and classification tasks demonstrate that MetaVRF delivers much better, or at least competitive, performance compared to existing meta-learning alternatives.

연구 동기 및 목표

• 자료 부족으로 인해 커널 품질이 제한되는 소수의 샘플에서 학습하는 환경에서 정보적이고 구분력 있는 커널을 학습하는 데 도전하는 것.
• 무작위 푸리에 특징 기저를 잠재 변수로 간주함으로써 커널 학습을 메타학습과 통합하는 것.
• 구조적인 추론 메커니즘을 통해 관련 작업들 간의 공유 지식을 활용하여 새로운 작업으로의 빠른 적응을 가능하게 하는 것.
• 효율적인 커널 근사화를 위해 필요한 스펙트럼 샘플링 비율을 줄이되, 높은 표현 능력을 유지하는 것.
• 다양한 소수의 샘플 학습 설정, 특히 훈련 및 테스트 조건이 일관되지 않은 경우에도 일반화 가능한 유연하고 종단 간 프레임워크를 개발하는 것.

제안 방법

• 메타학습에서 커널 학습을 변분 추론 문제로 재정의하여, 무작위 푸리에 특징 기저를 잠재 변수로 간주한다.
• 메타학습을 위한 새로운 기초 하한값(ELBO)을 유도함으로써, 무작위 특징의 스펙트럼 분포를 체계적으로 최적화할 수 있도록 한다.
• 무작위 특징의 사후 분포를 모델링하기 위해 LSTM 기반 추론 네트워크를 도입하여, 작업별 지원 세트 정보와 이전 작업들로부터의 컨텍스트를 통합한다.
• LSTM의 은닉 상태를 활용해 에피소드 간 공유 메타지식을 누적하고 정교화함으로써 장기적 의존성 모델링을 가능하게 한다.
• 양방향 LSTM 버전을 도입하여 컨텍스트 통합과 특징 표현 품질을 더욱 향상시킨다.
• 낮은 샘플링 비율(D)으로도 작업 적응형 스펙트럼 분포를 학습함으로써 효율적인 커널 근사화를 실현하며, 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 변분 추론이 소수의 샘플에서 학습하는 환경에서 메타학습 프레임워크 내에서 적응형 무작위 푸리에 특징을 효과적으로 학습하는 데 적용될 수 있는가?
• RQ2 여러 관련 작업들 간의 공유 지식을 어떻게 활용하여 자료가 적은 환경에서 커널 품질과 일반화 능력을 향상시킬 수 있는가?
• RQ3 LSTM 기반 추론 네트워크가 이전 작업들로부터의 컨텍스트를 통합함으로써 무작위 특징의 표현 능력을 얼마나 향상시킬 수 있는가?
• RQ4 MetaVRF는 낮은 샘플링 비율에서도 기존의 메타학습 방법들과 비교해 경쟁력 있거나 우수한 성능을 달성하는가?
• RQ5 MetaVRF는 훈련 및 테스트 조건이 일관되지 않은 다양한 소수의 샘플 설정(예: 다른 웨이 또는 샷 수)에 효과적으로 일반화되는가?

주요 결과

• 양방향 LSTM을 사용한 MetaVRF는 5-way 1-shot mini-ImageNet 벤치마크에서 63.80%의 정확도를 기록하여, LEO(61.76%)와 SNAIL(55.71%)와 같은 기존 방법들을 능가한다.
• 5-way 5-shot 설정에서는 MetaVRF가 양방향 LSTM을 사용해 77.97%의 정확도를 달성했으며, 훨씬 적은 기저 수로도 일반 RFFs보다 뛰어난 성능을 보였다.
• 낮은 스펙트럼 샘플링 비율에서도 MetaVRF는 높은 효율성을 유지한다: 동일한 기저 수로도 표준 RFFs를 능가하는 성능을 보이며, 높은 효율성을 입증한다.
• 모델은 도전적인 테스트 조건에도 강력하게 일반화되어, 20-way-5-shot 작업에서 훈련된 후 100-way 분류 작업에서 94%의 정확도를 기록했다.
• 사전 훈련된 WRN-28-10 임베딩을 사용한 MetaVRF는 mini-ImageNet에서 최신 기술 수준의 성능을 달성하여, 깊이 있는 특징 추출기와의 호환성을 확인했다.
• 제거 실험 결과, LSTM 기반의 컨텍스트 추론이 핵심임을 입증했다: LSTM 없이 구현한 MetaVRF는 성능이 열등하며, 양방향 LSTM 버전이 가장 우수한 성능을 기록했다.