[논문 리뷰] Bayesian Meta-Learning for the Few-Shot Setting via Deep Kernels

Massimiliano Patacchiola, Jack Turner외 3명|arXiv (Cornell University)|2019. 10. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 62

한 줄 요약

Deep Kernel Transfer(DKT)라는 베이지안 메타러닝 접근법을 도입하여, 심층 커널을 사용해 내부 루프 최적화 없이 소수 샷 회귀, 분류 및 교차 도메인 작업을 수행하고 불확실성 추정치를 제공한다.

ABSTRACT

Recently, different machine learning methods have been introduced to tackle the challenging few-shot learning scenario that is, learning from a small labeled dataset related to a specific task. Common approaches have taken the form of meta-learning: learning to learn on the new problem given the old. Following the recognition that meta-learning is implementing learning in a multi-level model, we present a Bayesian treatment for the meta-learning inner loop through the use of deep kernels. As a result we can learn a kernel that transfers to new tasks; we call this Deep Kernel Transfer (DKT). This approach has many advantages: is straightforward to implement as a single optimizer, provides uncertainty quantification, and does not require estimation of task-specific parameters. We empirically demonstrate that DKT outperforms several state-of-the-art algorithms in few-shot classification, and is the state of the art for cross-domain adaptation and regression. We conclude that complex meta-learning routines can be replaced by a simpler Bayesian model without loss of accuracy.

연구 동기 및 목표

• 관련 작업들 간에 매우 소량의 라벨링 데이터셋에서 학습하는 문제의 필요성을 제시하고 해결한다.
• 작업별 매개변수를 주변화하여 다층 메타러닝에 대한 베이지안 대안을 제공한다.
• 작업 간에 공통 커널을 전달하고 주변 가능도(ML-II)를 통해 하이퍼파라미터를 최적화하는 Deep Kernel Transfer(DKT) 방법을 개발한다.
• 딥 커널을 갖는 더 간단한 계층형 베이지안 모델이 회귀, 교차 도메인, 분류 벤치마크에서 복잡한 메타러닝 방법과 대등하거나 우수한 성능을 보임을 입증한다.

제안 방법

• 소수샷 학습을 공유 커널 하이퍼파라미터와 작업별 잠재 표현을 갖는 계층형 베이지안 문제로 모델링한다.
• 입력을 신경망 F_phi를 통해 잠재 공간으로 매핑한 뒤 커널 k'(h,h')이 가우시안 프로세스의 공분산을 제공하는 딥 커널 학습을 사용한다.
• 메타러닝의 내부 루프를 해석적 가우시안 프로세스 주변가능도으로 대체하고, 교차-작업 파라미터(커널 하이퍼파라미터 theta 와 네트워크 가중치 phi)만 최적화한다.
• 회귀에 대한 닫힌 형태의 예측 분포를 유도하고(가우시안 가능도), 분류를 위한 회귀 기반 처리(레이블 회귀/최소자승 분류)도 도출한다.
• 미니배치당 샘플링된 작업을 통해 로그 주변가능도를 최대화하여 확률적 ML-II로 학습한다.

실험 결과

연구 질문

• RQ1 다수의 작업에 걸쳐 학습된 단일의 전달 가능한 딥 커널이 소수샷 회귀, 교차 도메인 적응 및 분류에서 경쟁력 있거나 우수한 성능을 제공할 수 있는가?
• RQ2 베이지안 적분(ML-II)을 통해 작업별 내부 루프 매개변수를 주변화하는 것이 표준 메타러닝에 비해 견고한 불확실성 추정과 더 간단한 최적화를 제공하는가?
• RQ3 최신 메타러닝 기준선과 비교했을 때 인-도메인, 아웃-오브-도메인, 크로스-도메인 소수샷 시나리오에서 Deep Kernel Transfer의 성능은 어떠한가?
• RQ4 다른 커널(RBF 대 Spectral)과 특징 정규화가 소수샷 성능과 불확실성에 어떤 영향을 미치는가?

주요 결과

• DKT는 회귀 과제에서 몇몇 최첨단 소수샷 방법과 경쟁력 있거나 우수한 성능을 달성하며, 특히 범위를 벗어난 입력 처리 및 불확실성 추정에서 개선을 보인다.
• DKT 내 스펙트럴 커널을 사용하면 미지의 주기 함수 회귀 및 얼굴/머리 자세 궤적 과제에서 특히 강력한 성능을 보인다.
• 교차 도메인 분류에서 강력한 결과를 보여주며 많은 기준선을 능가하고 여러 벤치마크에서 비교 가능한 방법들 중 최첨단 성능을 달성한다.
• 이 방법은 예측에서 불확실성 정량화를 제공하며, 저데이터 환경 및 입력 오염에서 의미 있는 것으로 입증된다.
• 커널 전이 를 갖는 더 간단한 베이지안 모델이 정확도를 희생하지 않으면서도 복잡한 메타러닝 루틴과 맞먹거나 능가할 수 있다.