[논문 리뷰] Information Theoretic Meta Learning with Gaussian Processes

Michalis K. Titsias, Ruiz, Francisco J. R.외 2명|arXiv (Cornell University)|2020. 09. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 5

한 줄 요약

이 논문은 정보 이론적 프레임워크를 사용하여 메타학습에 새로운 접근을 제안한다. 변분 추론을 활용해 정보 볼록 이론 원리에 포함된 상호정보량을 근사함으로써, 비모수적 태스크 인코딩을 위한 가우시안 프로세스 기반 메모리 기반 방법을 제안하며, 소수의 샘플로 회귀 및 분류를 수행하는 데 최고 성능을 기록하고, MAML보다도 회귀 과제에서 뛰어난 성능을 보였다.

ABSTRACT

We formulate meta learning using information theoretic concepts; namely, mutual information and the information bottleneck. The idea is to learn a stochastic representation or encoding of the task description, given by a training set, that is highly informative about predicting the validation set. By making use of variational approximations to the mutual information, we derive a general and tractable framework for meta learning. This framework unifies existing gradient-based algorithms and also allows us to derive new algorithms. In particular, we develop a memory-based algorithm that uses Gaussian processes to obtain non-parametric encoding representations. We demonstrate our method on a few-shot regression problem and on four few-shot classification problems, obtaining competitive accuracy when compared to existing baselines.

연구 동기 및 목표

• 정보 볼록 이론 기반의 원리적인 정보 이론적 프레임워크를 바탕으로 기존 메타학습 알고리즘을 통합하는 것.
• 기존 방법들을 통합하고 확장할 수 있는 일반적이고 계산 가능한 학습 원칙이 메타학습 분야에서 부족한 문제를 해결하는 것.
• 비모수적 태스크 인코딩을 위한 가우시안 프로세스를 활용한 새로운 메모리 기반 메타학습 알고리즘을 개발하는 것.
• 제안된 프레임워크가 소수의 샘플로 회귀 및 분류 과제에서 효과적으로 작동하는지 검증하는 것.

제안 방법

• 태스크 표현과 지원/검증 세트 간의 상호정보량을 최적화하는 방식으로 메타학습을 수식화한다.
• 정보 볼록 이론에서 계산이 불가능한 상호정보량을 근사하기 위해 변분 추론을 적용하여, 변분 정보 볼록 이론(VIB)으로 불리는 계산 가능한 목적 함수를 도출한다.
• 태스크 지원 세트의 확률적 인코딩을 모델링하기 위해 가우시안 프로세스를 사용함으로써, 비모수적 표현 학습이 가능한 메모리 기반 알고리즘을 유도한다.
• 딥 네URAL 커널을 활용해 특징 표현을 추출하며, 커널 함수는 선형 또는余弦 유사도 기반으로 설계되어 가우시안 프로세스 추론을 지원한다.
• 공유된 인코더 네트워크를 통해 암시적 추론을 수행함으로써, 태스크 간의 가우시안 프로세스 사후 분포를 효율적으로 계산한다.
• 모든 데이터셋에 동일한 정규화 계수 β = 0.001을 사용하여 강건성을 입증하며, 하이퍼파ram터는 표준 최적화 방법을 통해 조정한다.

실험 결과

연구 질문

• RQ1 정보 볼록 이론과 같은 정보 이론 원리가 메타학습을 위한 통합적 프레임워크를 제공할 수 있는가?
• RQ2 변분 근사법을 활용한 상호정보량 추정은 기울기 기반 및 메모리 기반 메타학습 알고리즘을 유도하는 데 어떻게 활용될 수 있는가?
• RQ3 비모수적 GP 기반 인코딩이 MAML과 같은 모수적 모델보다 소수의 샘플로 회귀 과제에서 더 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 프레임워크는 경쟁적인 성능을 기록하며 소수의 샘플로 분류 과제에 일반화될 수 있는가?
• RQ5 다양한 소수의 샘플 기반 벤치마크에서 광범위한 하이퍼파ram터 튜닝 없이도 최고 성능을 달성할 수 있는가?

주요 결과

• 소수의 사인파 회귀 과제에서 GP-VIB는 MAML보다 낮은 오차를 기록하여, 회귀 설정에서 뛰어난 일반화 성능을 입증했다.
• mini-ImageNet 및 CUB 소수의 샘플 분류 벤치마크에서 GP-VIB는 일부 설정에서 최고 성능을 기록했으며, 특히 여시유사도 커널을 사용한 경우 두드러진 성능을 보였다.
• CosSim 커널을 사용한 GP-VIB 모델은 5-샷 CUB에서 78.35%의 정확도(±0.23)를 기록하여, MAML 및 DKT 기반 방법을 포함한 모든 베이스라인을 초월했다.
• 교차 도메인 소수의 샘플 분류 과제(Omniglot → EMNIST)에서 GP-VIB는 CosSim 커널을 사용해 40.70%의 정확도(±0.48)를 기록했으며, 해당 분할에서 가장 높은 성능을 기록했다.
• 모든 벤치마크에서 경쟁적인 성능을 기록했으며, 단일 고정된 β 하이퍼파ram터로도 최고의 베이스라인 수준에 근접한 결과를 도출했다.
• 제안된 프레임워크는 MAML 및 확률적 MAML과 같은 기울기 기반 방법을 성공적으로 복원하여, 그 일반성과 이론적 타당성을 입증했다.