[논문 리뷰] Meta-Learning with Shared Amortized Variational Inference

Екатерина Яковлева, Jakob Verbeek외 1명|arXiv (Cornell University)|2020. 08. 27.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 소수의 샘플로 이미지 분류를 수행할 때 분류기 가중치의 불확실성을 모델링하기 위해 공유된 암시적 변동형 추론 네트워크를 사용하는 메타학습 프레임워크인 SAMOVAR를 제안한다. 단일 공유 추론 네트워크를 사용해 모델 파라미터에 대한 조건부 사전분포와 사후분포를 학습함으로써 몬테카를로 기반 접근법에서 관찰되는 분산 붕괴를 방지하며, miniImageNet, CIFAR-FS, FC100에서 최신 기술 수준의 성능을 달성하면서도 불확실성 추정과 정확도가 향상되었다.

ABSTRACT

We propose a novel amortized variational inference scheme for an empirical Bayes meta-learning model, where model parameters are treated as latent variables. We learn the prior distribution over model parameters conditioned on limited training data using a variational autoencoder approach. Our framework proposes sharing the same amortized inference network between the conditional prior and variational posterior distributions over the model parameters. While the posterior leverages both the labeled support and query data, the conditional prior is based only on the labeled support data. We show that in earlier work, relying on Monte-Carlo approximation, the conditional prior collapses to a Dirac delta function. In contrast, our variational approach prevents this collapse and preserves uncertainty over the model parameters. We evaluate our approach on the miniImageNet, CIFAR-FS and FC100 datasets, and present results demonstrating its advantages over previous work.

연구 동기 및 목표

• 메타학습에서 몬테카를로 기반 변동형 추론의 분산 과소평가 문제를 해결하기 위해.
• 구조적 사전분포를 가진 잠재 변수로 분류기 가중치를 모델링하여 소수의 샘플로 분류의 불확실성 추정을 향상시키기 위해.
• 모델 파라미터의 사전분포와 사후분포 양쪽에 일반화할 수 있는 공유된 암시적 추론 네트워크를 개발하기 위해.
• 스토캐스틱하고 불확실성 인식 기반의 가중치 적응을 통해 기존 메타학습 모델(VERSA 및 TADAM 등)의 성능을 향상시키기 위해.
• 변동형 추론이 몽테카를로 방법에서 흔히 발생하는 사전분포 붕괴를 방지하여 더 견고한 일반화를 이끌어내는지 입증하기 위해.

제안 방법

• 모델은 작업별 분류기 가중치에 대한 조건부 사전분포와 변동형 사후분포를 모두 파arameter화하기 위해 공유된 추론 네트워크를 사용한다.
• 사전분포는 지원 세트 데이터에만 조건이 되며, 사후분포는 지원 및 쿼리 데이터를 모두 사용하여 불확실성 인식 예측이 가능하다.
• 계산이 불가능한 주변 가능도를 근사하기 위해 변동형 오토인코더 프레임워크를 활용하며, 추론 네트워크는 역전파를 통해 엔드 투 엔드로 훈련된다.
• 작업에 종속되지 않는 특징 추출기(예: ResNet-12)를 활용해 지원 및 쿼리 이미지의 특징을 추출한 후, 이를 공유된 추론 네트워크에 전달한다.
• 이 프레임워크는 쿼리 데이터에 대한 예측을 위해 사전분포와 사후분포에서 분류기 가중치를 스토캐스틱하게 샘플링할 수 있도록 한다.
• 이 방법은 결정론적 모델(예: VERSA)과 스케일링된 코사인 분류기(예: TADAM)를 사용하는 모델에도 적용되며, 이를 스토캐스틱 변형으로 전환한다.

실험 결과

연구 질문

• RQ1 공유된 암시적 추론 네트워크는 별도의 사전분포와 사후분포보다 메타학습에서 불확실성 추정을 향상시키는가?
• RQ2 적은 기울기 샘플을 사용할 경우, 변동형 추론이 몽테카를로 기반 접근법에서 관찰되는 사전분포 붕괴를 방지하는가?
• RQ3 제안된 방법은 miniImageNet, CIFAR-FS, FC100와 같은 표준 벤치마크에서 소수의 샘플로 분류 정확도를 어떻게 향상시키는가?
• RQ4 공유된 변동형 추론에 의해 가능해진 TADAM의 스토캐스틱 버전은 최신 기술 수준의 모델과 경쟁 가능한 성능을 달성하는가?
• RQ5 제안된 프레임워크는 데이터 증강 또는 전도적 훈련과 같은 기존 기법과 호환되며 효과적인가?

주요 결과

• 변동형 접근법은 소수의 샘플을 사용할 경우 몽테카를로 기반 방법에서 흔히 발생하는 사전분포 붕괴를 성공적으로 방지하여 정확한 분산 추정을 가능하게 했다.
• miniImageNet에서 SAMOVAR는 5-shot 기준 57.9% ± 0.3의 정확도를 달성하여 다른 ResNet-12 기반 모델을 능가했으며, 최신 기술 수준의 결과를 달성하거나 초월했다.
• FC100에서는 비전도적 방법 중에서 가장 높은 5-shot 정확도를 기록했으며, 42.1% ± 0.3의 정확도를 달성했다.
• CIFAR-FS에서는 5-shot 기준 85.3% ± 0.2의 정확도, 1-shot 기준 72.5% ± 0.3의 정확도를 기록하여 다양한 샘플 수 설정에서 뛰어난 성능을 보였다.
• 제안된 변동형 프레임워크를 통해 훈련된 TADAM의 스토캐스틱 버전은 원래의 결정론적 모델을 크게 능가했으며, 최신 기술 수준의 성능을 달성했다.
• 이 방법은 하이퍼파라미터 설정에 대해 강건하며, 여러 소수의 샘플 벤치마크를 통해 잘 일반화되어 있어 효과성과 신뢰성을 확인했다.