[論文レビュー] GP-Tree: A Gaussian Process Classifier for Few-Shot Incremental Learning

Idan Achituve, Aviv Navon+3 more|arXiv (Cornell University)|Feb 15, 2021

Gaussian Processes and Bayesian Inference参考文献 67被引用数 5

ひとこと要約

GP-Treeは、Pólya-Gamma補完を用いた二分木構造のバイナリーガウス過程（GP）を用いることで、少数ショットインクリメンタル学習におけるスケーラブルなガウス過程分類器を提案する。これにより、多数のクラスやデータセットに対する効率的な推論が可能となり、mini-ImageNetおよびCUBベンチマークで最先端の精度を達成。特に後続のインクリメンタル学習セッションにおいて、災難的忘却の緩和を実現している。

ABSTRACT

Gaussian processes (GPs) are non-parametric, flexible, models that work well in many tasks. Combining GPs with deep learning methods via deep kernel learning (DKL) is especially compelling due to the strong representational power induced by the network. However, inference in GPs, whether with or without DKL, can be computationally challenging on large datasets. Here, we propose GP-Tree, a novel method for multi-class classification with Gaussian processes and DKL. We develop a tree-based hierarchical model in which each internal node of the tree fits a GP to the data using the Pólya Gamma augmentation scheme. As a result, our method scales well with both the number of classes and data size. We demonstrate the effectiveness of our method against other Gaussian process training baselines, and we show how our general GP approach achieves improved accuracy on standard incremental few-shot learning benchmarks.

研究の動機と目的

• 多数のクラスやデータセットを扱う際のガウス過程分類（GPC）のスケーラビリティ制限を克服すること。
• 少数ショットインクリメンタル学習（FSCIL）にGPCを適用する際の計算的・統計的課題（例：限られた例数、継続的なクラス学習）を克服すること。
• Pólya-Gamma補完を用いて、変分推論とギブスサンプリングの両方を可能にする柔軟でスケーラブルなGPCフレームワークの開発。
• 深層カーネル学習（DKL）と誘導点を組み合わせることで、大規模な画像分類に適したガウス過程の有効性を示すこと。
• GP-Treeが災難的忘却を低減し、少数の例から新しいクラスを学習しながら、ベースクラスの精度を維持できることを示すこと。

提案手法

• GP-Treeは、Pólya-Gamma補完を用いて非ガウス的尤度を扱える二項ガウス過程を用いた二分木の階層を構築する。
• 木の各ノードは、そのサブセットのデータにGPを適合させ、Pólya-Gammaスキームによりギブスサンプリングまたは誘導点を用いた変分推論による正確な事後分布推論を可能にする。
• 木構造を介した二値分類タスクへの分解により、クラス数およびデータサイズの両方に対して効率的なスケーリングが実現される。
• 深層カーネル学習（DKL）を統合し、深層ニューラルネットワークを特徴抽出およびカーネル関数の計算に用いることで、画像データに対する表現能力を向上させる。
• 大規模な学習では、誘導点を用いて完全なGPを近似し、計算コストを削減しながらベイジアン一般化を維持する。
• モデルはエンドツーエンドで確率的最適化により学習され、ハイパーパrameterはベースクラスからのホールドアウト検証セットで調整される。

実験結果

リサーチクエスチョン

• RQ1 多数のクラスを有する多クラス問題に、ガウス過程分類を効果的にスケーリングできるか？
• RQ2 階層的木構造を介して拡張された際、Pólya-Gamma補完スキームは多クラスGPCにおいてどのように機能するか？
• RQ3 既存の最先端手法と比較して、GP-Treeは少数ショットインクリメンタル学習において優れた性能を達成できるか？
• RQ4 誘導点とDKLの使用により、GP-Treeは少数の例から学習する際、低い忘却度を維持できるか？
• RQ5 標準的なFSCILベンチマークにおいて、インクリメンタルセッションの度にGP-Treeは精度と安定性の点でどのように比較されるか？

主な発見

• mini-ImageNetベンチマークでは、GP-Treeはセッション5〜9で最高の精度を記録し、TOPIC、PODNet、SDCを含むすべてのベースラインを上回った。
• CUBでは、セッション4〜11で平均精度が最高となり、特に忘却とデータ不足が深刻な後続のインクリメンタル段階での優れた性能を示した。
• GP-Treeはベースライン手法と比較して、平均的な忘却度が低く（CUBでは0.4 SEM、mini-ImageNetでは0.2）、災難的忘却の効果的な緩和を示した。
• 新しいクラスよりもベースクラスでの精度が高かったが、これは固定された特徴抽出器と新しいクラスの例数が限られていることによるもので、予想される結果であった。
• 非線形カーネル関数は線形カーネルよりも顕著に優れた性能を示し、GP-Treeにおける表現力のあるカーネル学習の重要性を強調した。
• 感度分析により、1クラスあたりの代表的サンプル数とカーネル選択が性能に顕著な影響を与えることが確認され、非線形カーネルと十分な代表的サンプル数を用いることで最適な結果が得られた。