[논문 리뷰] Meta-Learning Probabilistic Inference For Prediction

Jonathan Gordon, John Bronskill외 3명|arXiv (Cornell University)|2018. 05. 24.

Machine Learning and Data Classification인용 수 72

한 줄 요약

이 논문은 기존 방법을 확장하여 사후 예측 분포를 암시적 최적화하는 메타학습 프레임워크인 ML-PIP를 소개한다. VERSA는 ML-PIP의 한 예시로, 단일 순방향 전파를 통해 소수의 샘플 데이터로부터 작업별 파라미터를 예측하는 유연한 추론 네트워크를 사용하여 Omniglot과 miniImageNet에서 최신 기준 성능을 달성하고, 1샷 3D 뷰 재구성에서 뛰어난 시각적 품질을 제공한다.

ABSTRACT

This paper introduces a new framework for data efficient and versatile learning. Specifically: 1) We develop ML-PIP, a general framework for Meta-Learning approximate Probabilistic Inference for Prediction. ML-PIP extends existing probabilistic interpretations of meta-learning to cover a broad class of methods. 2) We introduce VERSA, an instance of the framework employing a flexible and versatile amortization network that takes few-shot learning datasets as inputs, with arbitrary numbers of shots, and outputs a distribution over task-specific parameters in a single forward pass. VERSA substitutes optimization at test time with forward passes through inference networks, amortizing the cost of inference and relieving the need for second derivatives during training. 3) We evaluate VERSA on benchmark datasets where the method sets new state-of-the-art results, handles arbitrary numbers of shots, and for classification, arbitrary numbers of classes at train and test time. The power of the approach is then demonstrated through a challenging few-shot ShapeNet view reconstruction task.

연구 동기 및 목표

• 포인트 추정 해석을 초월하여 메타학습의 근사 추론을 위한 통합된 확률적 프레임워크를 개발한다.
• 테스트 시 반복 최적화를 대체하여 단일 순방향 전파를 통해 빠르고 자료 효율적인 소수의 샘플 학습을 가능하게 한다.
• 학습 및 테스트 시 임의의 샷 수와 클래스 수를 지원하여 실제 소수의 샘플 시나리오에 대한 유연성을 높인다.
• 표준 벤치마크와 도전적인 1샷 3D 뷰 재구성 작업에서 방법의 효과성을 입증한다.

제안 방법

• 메타학습을 작업별 파라미터에 대한 암시적 사후 예측 추론으로 간주하는 ML-PIP 프레임워크를 제안한다.
• 공유된 전역 파라미터 θ와 작업별 파라미터 ψ(t)를 갖는 계층적 확률 모델을 사용하여 다중 작업 및 전이 학습을 가능하게 한다.
• 소수의 샘플 데이터셋 D에서 작업별 파라미터 분포를 한 번의 순방향 전파로 예측하는 암시적 네트워크 qφ(ψ|D)를 활용한다.
• 학습 목표를 작업에 대한 진짜 사후 예측 분포와 근사 사후 예측 분포 사이의 기대값 KL 발산을 최소화하는 것으로 정의한다.
• qφ(ψ|D)에 대해 인과적 가우시안 분포를 사용하며, 평균과 분산을 딥 네트워크가 예측하여 엔드 투 엔드 학습이 가능하도록 한다.
• 테스트 시 최적화를 피하기 위해 2차 도함수 계산이 필요 없도록 하여, 대신 추론 네트워크의 추론에 의존한다.

실험 결과

연구 질문

• RQ1 통합된 확률적 프레임워크는 기존 메타학습 방법을 포인트 추정 해석을 초월해 일반화할 수 있는가?
• RQ2 작업별 파라미터에 대한 암시적 추론이 최소한의 테스트 시 계산으로 최신 기준 성능을 달성할 수 있는가?
• RQ3 학습 조건과 다를 경우에도 테스트 시 임의의 샷 수와 클래스 수로 일반화가 가능한가?
• RQ4 소수의 샘플 설정에서 단일 2D 이미지로부터 복잡한 3D 객체 뷰를 효과적으로 재구성할 수 있는가?

주요 결과

• Omniglot에서 VERSA는 1샷 정확도 99.70% ± 0.20과 5샷 정확도 99.75% ± 0.13을 기록하여 MAML 및 프로토타입 네트워크를 포함한 기존 방법들을 초월한다.
• miniImageNet에서 VERSA는 1샷 정확도 97.66% ± 0.29와 5샷 정확도 98.77% ± 0.18를 기록하여 새로운 최신 기준 성능을 수립한다.
• 1샷 ShapeNet 뷰 재구성에서 VERSA는 테스트 MSE 0.0108과 SSIM 0.7893을 달성하여 C-VAE 기준선보다 뚜렷이 뛰어나다.
• 시각적 결과는 VERSA가 C-VAE보다 더 선명하고 더 세밀한 이미지를 생성하며, 새로운 객체 방향에 대한 더 나은 일반화 성능를 보임을 보여준다.
• 방법은 새로운 샷 및 웨이 조합으로 일반화되며, 제로샷 소수의 샘플 전이 설정에서의 강건성을 입증한다.
• 정량적 및 정성적 결과는 VERSA를 통한 암시적 추론이 반복 최적화 없이도 빠르고 정확하며 민감한 소수의 샘플 예측을 가능하게 한다.