[논문 리뷰] Adaptive Deep Kernel Learning

Prudencio Tossou, Basile Dura외 3명|arXiv (Cornell University)|2019. 05. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 19

한 줄 요약

이 논문은 적은 샘플에서 회귀를 수행하는 데 성능을 햖थ하려는 목적으로, 딥 네ural 네트워크를 통해 작업별 커널의 가족을 학습하는 새로운 프레임워크인 적응형 딥 커널 학습(ADKL)을 제안한다. 테스트 시점에 세트 임베딩과 미분 가능한 커널 방법을 사용해 커널을 적응적으로 조정함으로써, 단일 커널 DKL 및 최신 기술 모델보다 우수한 성능을 보이며, 실제 약물 발견 및 합성 FSR 벤치마크에서 뛰어난 일반화 능력과 능동 학습 효율성을 입증한다.

ABSTRACT

Deep kernel learning provides an elegant and principled framework for combining the structural properties of deep learning algorithms with the flexibility of kernel methods. By means of a deep neural network, we learn a parametrized kernel operator that can be combined with a differentiable kernel algorithm during inference. While previous work within this framework has focused on learning a single kernel for large datasets, we learn a kernel family for a variety of few-shot regression tasks. Compared to single deep kernel learning, our algorithm enables the identification of the appropriate kernel for each task during inference. As such, it is well adapted for complex task distributions in a few-shot learning setting, which we demonstrate by comparing against existing state-of-the-art algorithms using real-world, few-shot regression tasks related to the field of drug discovery.

연구 동기 및 목표

• 특히 데이터가 부족한 분야인 약물 발견과 같은 분야에서 실세계의 적은 샘플 회귀 벤치마크가 부족한 문제를 해결하기 위해.
• 고정 커널 또는 거리 기반 방법의 한계를 극복하기 위해 테스트 시점에서 커널을 적응적으로 조정함으로써, 적은 샘플 회귀의 일반화 능력을 향상시키기 위해.
• 단일 글로벌 커널이 아닌, 작업별 커널의 가족을 학습하는 딥 커널 학습 프레임워크를 개발하기 위해.
• 표준 및 능동 학습 설정 모두에서 실세계 FSR 데이터셋에 대해 방법을 평가하고 최신 알고리즘과 비교하기 위해.
• 베이지안 불확실성 추정(GP 기반)이 결정론적 모델(CNP 등)보다 능동 샘플 선택에서 더 효과적인가를 입증하기 위해.

제안 방법

• ADKL은 입력 특징을 잠재 공간으로 매핑하는 딥 네ural 네트워크를 사용하여 작업별 커널 학습을 가능하게 한다.
• 세트 임베딩 기법을 활용해 지원 세트를 작업 표현으로 인코딩하고, 이를 커널 하이퍼파ram터를 조정하는 데 사용한다.
• 미분 가능한 커널 방법—특히 커널 리지 회귀(KRR)와 가우시안 프로세스(GP)—를 조합하여 기울기 기반 최적화로 엔드 투 엔드 학습을 가능하게 한다.
• 작업 인코더의 학습을 안정화하고 다양한 적은 샘플 작업 간의 일반화 능력을 향상시키기 위해 메타 정규화 항을 도입한다.
• 테스트 시점에 지원 세트에 기반해 커널 하이퍼파라미터를 동적으로 선택함으로써, 새로운 작업에 대한 적응형 일반화를 가능하게 한다.
• 능동 학습은 예측 엔트로피가 가장 높은 샘플을 선택함으로써 통합되며, GP 변형에서의 불확실성 추정을 활용한다.

실험 결과

연구 질문

• RQ1 작업별 커널의 가족을 학습하는 딥 커널 학습 프레임워크가 단일 커널 DKL보다 적은 샘플 회귀에서 더 나은 일반화 성능을 보일 수 있는가?
• RQ2 테스트 시점 커널 적응이 고정 커널 또는 거리 기반 방법보다 적은 샘플 회귀에서 성능을 향상시키는가?
• RQ3 GP 기반 ADKL의 베이지안 불확실성 추정이 결정론적 모델(CNP 등)보다 더 효과적인 능동 학습을 이끌 수 있는가?
• RQ4 기본 커널의 종류(예: 선형 vs. RBF)와 정규화가 메타학습 설정에서 일반화에 미치는 영향은 어떠한가?
• RQ5 약물 발견에서 유래한 실세계의 적은 샘플 회귀 벤치마크가 FSR 알고리즘 평가 및 발전에 효과적으로 활용될 수 있는가?

주요 결과

• ADKL-GP는 시그모이드 벤치마크에서 최적 성능에 도달하기 위해 CNP보다 훨씬 적은 쿼리 수를 요구하며 능동 학습에서 일관되게 승리한다.
• ADKL-GP는 최대 20개의 쿼리까지도 안정적인 성능을 유지하지만, CNP는 10개 쿼리 이상에서 성능 저하를 보이며 더 나은 일반화 능력을 나타낸다.
• 비영인 메타 정규화(γ)를 사용할 경우 다양한 하이퍼파라미터 설정 간 일반화 능력이 향상되며, 이는 작업 인코더의 안정화에 기여함을 시사한다.
• 모든 설정에서 선형 커널이 RBF 커널보다 더 나은 일반화 성능을 보이며, RBF의 경우 공유 스케일링 파라미터 조정이 더 어려운 데 기인할 수 있다.
• ADKL-KRR와 ADKL-GP 모두 단일 커널 DKL을 능가하며, 커널 가족을 학습하는 것이 테스트 시점의 적응 능력을 향상시킴을 입증한다.
• 저자들은 약물 발견에서 유래한 실세계 FSR 데이터셋 두 개를 공개하여 향후 실용적인 적은 샘플 회귀 연구를 위한 새로운 벤치마크를 제공한다.