[논문 리뷰] Deep Kernel Transfer in Gaussian Processes for Few-shot Learning

Massimiliano Patacchiola, Jack Turner외 2명|arXiv (Cornell University)|2019. 10. 11.

Gaussian Processes and Bayesian Inference참고 문헌 51인용 수 19

한 줄 요약

이 논문은 소수의 샘플로 학습하는 경우에, 작업별로 별도의 파rameter를 추정하지 않고도 학습된 커널을 작업 간에 전이하는 딥 커널 전이를 고려한 가우시안 프로세스를 제안한다. 이 방법은 소수의 샘플로 학습하는 회귀, 분류 및 교차 도메인 적응에서 성능을 향상시키며, 예측의 불확실성 측정도 제공한다.

ABSTRACT

Humans tackle new problems by making inferences that go far beyond the information available, reusing what they have previously learned, and weighing different alternatives in the face of uncertainty. Incorporating these abilities in an artificial system is a major objective in machine learning. Towards this goal, we adapt Gaussian Processes (GPs) to tackle the problem of few-shot learning. We propose a simple, yet effective variant of deep kernel learning in which the kernel is transferred across tasks, which we call deep kernel transfer. This approach is straightforward to implement, provides uncertainty quantification, and does not require estimation of task-specific parameters. We empirically demonstrate that the proposed method outperforms several state-of-the-art algorithms in few-shot regression, classification, and cross-domain adaptation.

연구 동기 및 목표

• 유사한 작업들로부터의 사전 지식을 활용하여 소수의 샘플로 학습하는 문제에 도전한다.
• 제한된 레이블된 예시로부터 효과적인 일반화를 가능하게 하여, 기존의 소수의 샘플로 학습 방법의 핵심적인 한계를 극복한다.
• 가우시안 프로세스에서 작업별로 별도의 하이퍼파rameter를 추정하지 않는 커널 전이 메커니즘을 도입한다.
• 소수의 샘플로 학습하는 회귀, 분류 및 교차 도메인 적응 작업에서 성능을 향상시킨다.
• 예측과 함께 불확실성 추정을 제공하여, 결정이 중요한 응용 분야에서의 신뢰성 있는 의사결정에 기여한다.

제안 방법

• 소수의 샘플로 학습하는 데 적합하도록, 작업 간에 깊이 있는 커널 함수를 전이하는 가우시안 프로세스를 적응시킨다.
• 메타학습 분포에서의 작업들로부터 학습된 공통된 깊이 있는 커널 구조를 사용한다.
• 커널을 사전에 훈련된, 전이 가능한 형태로 고정함으로써, 작업별 하이퍼파rameter를 추정하지 않는다.
• 소수의 레이블된 예시만으로도 새로운 작업에 전이된 커널을 적용하여 빠른 추론을 가능하게 한다.
• 가우시안 프로세스의 본질적인 불확실성 측정 기능을 활용하여 예측의 신뢰도를 평가한다.
• 소수의 샘플로 학습하는 작업의 분포에서 깊이 있는 커널을 훈련시켜, 예상치 못한 작업으로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스에서 커널 전이가 작업별 하이퍼파rameter 조정 없이 소수의 샘플로 학습의 일반화를 향상시킬 수 있는가?
• RQ2 딥 커널 전이 방법이 회귀 및 분류 과제에서 최신 기술들과 비교하여 어떻게 성능을 내는가?
• RQ3 교차 도메인 적응 과제에서 이 방법은 얼마나 다양한 데이터 분포 간에 일반화되는가?
• RQ4 낮은 데이터 환경에서 이 방법은 신뢰할 수 있는 불확실성 추정을 유지하는가?
• RQ5 다양한 소수의 샘플로 학습 기준 테스트에서 이 방법은 얼마나 견고한가?

주요 결과

• 제안된 딥 커널 전이 방법은 소수의 샘플로 학습하는 회귀 및 분류 과제에서 여러 최신 기술보다 뛰어난 성능을 보였다.
• 이 방법은 교차 도메인 적응 과제에서도 뛰어난 성능을 기록하여, 서로 다른 데이터 분포 간의 전이 가능성과 유사성을 입증했다.
• 작업별 하이퍼파rameter 추정을 피했기 때문에, 훈련 및 추론 과정이 단순화되었으며, 높은 정확도를 유지했다.
• 가우시안 프로세스 프레임워크는 의미 있는 불확실성 추정을 제공하여, 낮은 데이터 환경에서의 신뢰할 수 있는 의사결정에 필수적인 요소를 제공한다.
• 실험 결과는 커널 전이가 다양한 소수의 샘플로 학습 과제에서 일반화 능력을 크게 향상시킨다는 것을 확인했다.