[논문 리뷰] GP-Tree: A Gaussian Process Classifier for Few-Shot Incremental Learning

Idan Achituve, Aviv Navon외 3명|arXiv (Cornell University)|2021. 02. 15.

Gaussian Processes and Bayesian Inference참고 문헌 67인용 수 5

한 줄 요약

GP-Tree는 계층적 이진 GPs와 Pólya-Gamma 보정을 사용하여 소수의 예제로 지속적으로 클래스를 학습하는 환경에서 확장 가능한 가우시안 프로세스 분류기를 제안한다. 이는 대규모 클래스와 데이터셋에 대한 효율적인 추론을 가능하게 하며, mini-ImageNet 및 CUB 벤치마크에서 최신 기술 수준의 정확도를 달성한다. 또한 기존 방법보다 후속 소수의 예제로 학습 세션에서 뛰어난 성능을 보이며 치명적인 잊음 현상을 완화한다.

ABSTRACT

Gaussian processes (GPs) are non-parametric, flexible, models that work well in many tasks. Combining GPs with deep learning methods via deep kernel learning (DKL) is especially compelling due to the strong representational power induced by the network. However, inference in GPs, whether with or without DKL, can be computationally challenging on large datasets. Here, we propose GP-Tree, a novel method for multi-class classification with Gaussian processes and DKL. We develop a tree-based hierarchical model in which each internal node of the tree fits a GP to the data using the Pólya Gamma augmentation scheme. As a result, our method scales well with both the number of classes and data size. We demonstrate the effectiveness of our method against other Gaussian process training baselines, and we show how our general GP approach achieves improved accuracy on standard incremental few-shot learning benchmarks.

연구 동기 및 목표

• 대규모 클래스와 데이터셋을 다룰 때 가우시안 프로세스 분류(GPC)의 확장성 한계를 해결하기 위해.
• 소수의 예제와 지속적인 클래스 학습이 핵심 제약 조건인 소수의 예제로 지속적인 학습(FSCIL)에 GPC를 적용할 때 발생하는 계산 및 통계적 과제를 극복하기 위해.
• Pólya-Gamma 보정을 통해 변분 추론과 기하급수적 샘플링을 모두 지원하는 융통성 있고 확장 가능한 GPC 프레임워크를 개발하기 위해.
• 깊이 있는 커널 학습(DKL)과 유도 점을 결합하여 대규모 이미지 분류에 적합한 GP의 효과를 입증하기 위해.
• GP-Tree가 새로운 클래스를 소수의 예제로 학습하면서도 기존 클래스의 정확도를 유지하고 치명적인 잊음 현상을 줄이는지 확인하기 위해.

제안 방법

• GP-Tree는 각 내부 노드가 Pólya-Gamma 보정을 사용하여 비정규 분포의 가능도를 처리하는 가우시안 프로세스를 사용해 이진 분류를 수행하는 이진 트리 계층을 구성한다.
• 트리의 각 노드는 Pólya-Gamma 기법을 사용해 하위 데이터 세트에 대해 GP를 적합시키며, 이는 유도 점을 사용한 기하급수적 샘플링 또는 변분 추론을 통해 정확한 사후 분포 추론을 가능하게 한다.
• 트리 구조를 통해 다중 클래스 분류를 순차적인 이진 작업으로 분해함으로써 클래스 수와 데이터 크기에 따라 효율적으로 확장된다.
• 깊이 있는 커널 학습(DKL)을 통합하기 위해 깊은 신경망을 사용해 특징을 추출하고 커널 함수를 계산함으로써 이미지 데이터에 대한 표현 능력을 향상시킨다.
• 대규모 학습을 위해 유도 점을 사용하여 전체 GP를 근사함으로써 계산 비용을 줄이고 베이지안 일반화 성능를 유지한다.
• 기본 클래스에서 분리된 검증 세트를 사용해 초모수를 조정하면서, 확률적 최적화를 통해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 대규모 클래스 수를 가진 다중 클래스 문제에 대해 가우시안 프로세스 분류가 효과적으로 확장될 수 있는가?
• RQ2 계층적 트리 구조를 통해 확장된 Pólya-Gamma 보정 기법이 다중 클래스 GPC에서 어떻게 작용하는가?
• RQ3 기존 최신 기술 수준의 방법보다 GP-Tree가 소수의 예제로 지속적인 학습에서 뛰어난 성능을 낼 수 있는가?
• RQ4 유도 점과 DKL을 사용함으로써 GP-Tree는 소수의 예제에서 학습하면서도 낮은 잊음 수준을 유지할 수 있는가?
• RQ5 표준 FSCIL 벤치마크에서 GP-Tree는 증분 세션 전반에 걸쳐 정확도와 안정성 측면에서 어떻게 비교되는가?

주요 결과

• mini-ImageNet 벤치마크에서 GP-Tree는 세션 5–9에서 가장 높은 정확도를 기록했으며, TOPIC, PODNet, SDC를 포함한 모든 기준 모델을 앞섰다.
• CUB에서 GP-Tree는 세션 4–11 동안 평균 정확도가 가장 높았으며, 잊음과 데이터 부족이 가장 도전적인 후속 증분 단계에서 뛰어난 성능을 보였다.
• 기존 방법보다 평균 잊음 수준이 낮았는데, CUB에서는 0.4 SEM, mini-ImageNet에서는 0.2로, 치명적인 잊음 현상의 효과적인 완화를 보였다.
• 새로운 클래스보다 기존 클래스에서 더 높은 정확도를 유지했는데, 이는 고정된 특징 추출기와 새로운 클래스에 대한 제한된 예제 수 때문으로 예상된다.
• 비선형 커널 함수가 선형 커널보다 유의미하게 뛰어난 성능을 보였으며, GP-Tree에서 표현력 있는 커널 학습의 중요성을 입증했다.
• 민감도 분석을 통해 클래스당 대표 샘플 수와 커널 선택이 성능에 상당한 영향을 미치며, 비선형 커널과 충분한 대표 샘플을 사용할 경우 최적의 성능를 달성함을 확인했다.