[論文レビュー] Modular Gaussian Processes for Transfer Learning

Pablo Moreno-Muñoz, Antonio Artés-Rodrı́guez+1 more|arXiv (Cornell University)|Oct 26, 2021

Gaussian Processes and Bayesian Inference参考文献 37被引用数 1

ひとこと要約

本論文は、元のデータに再アクセスせずにメタ-GPモデルを構築できる、転移学習向けのモジュラーなガウス過程フレームワークを提案する。変分推論とKLダイバージェンスに基づく積分補完を活用することで、元のデータの再学習を回避し、計算コストを削減するとともに、多出力および異種の尤度をサポートする。回帰、分類、マルチタスク学習のベンチマークにおいて、訓練データを再訪問しないまま最先端の性能を達成している。

ABSTRACT

We present a framework for transfer learning based on modular variational Gaussian processes (GP). We develop a module-based method that having a dictionary of well fitted GPs, one could build ensemble GP models without revisiting any data. Each model is characterised by its hyperparameters, pseudo-inputs and their corresponding posterior densities. Our method avoids undesired data centralisation, reduces rising computational costs and allows the transfer of learned uncertainty metrics after training. We exploit the augmentation of high-dimensional integral operators based on the Kullback-Leibler divergence between stochastic processes to introduce an efficient lower bound under all the sparse variational GPs, with different complexity and even likelihood distribution. The method is also valid for multi-output GPs, learning correlations a posteriori between independent modules. Extensive results illustrate the usability of our framework in large-scale and multi-task experiments, also compared with the exact inference methods in the literature.

研究の動機と目的

• 大規模かつプライバシーが重要な設定において、中央集権的なデータ再処理の限界を解消すること。
• 新しいタスクにモデルを組み合わせる際、元の訓練データに再びアクセスする必要をなくすこと。
• 事前学習済みGPモジュールのパラメータのみを用いて、効率的でスケーラブルかつプライバシー保護型の転移学習を可能にすること。
• 再学習を伴わずに、多出力および異種の尤度モデル（例：ガウス分布、ベルヌーイ分布）をサポートすること。
• モジュールベースの構成により、タスク間で学習済みの不確実性指標を保持すること。

提案手法

• フレームワークは、スパースな変分ガウス過程をモジュラーな構成要素として用い、それぞれがハイパーパrameter、擬似入力、事後密度のみを格納する。
• 確率過程間のカルバック・ライブラー距離に基づく積分作用素を用いて、新たな下界が導出される。
• 元のデータにアクセスせずに、変分パラメータのみを用いて独立したGPモジュールを組み合わせることでメタ-GPモデルを構築する。
• 尤度の異種性を処理するために、GP出力を尤度パラメータにリンクするための決定的写像（例：シグモイド関数）を適用する。
• 多出力学習では、モジュール間の相関を事後的に学習し、異なる出力タイプ間で統合推論を可能にする。
• アプローチはスケーラブルで計算的に効率的であり、モジュール学習後は元のデータセットサイズに依存しない。

実験結果

リサーチクエスチョン

• RQ1 元のデータに再学習せずに、学習済みの不確実性と性能を保持したまま、GPモデルを新しいタスクに再利用可能か？
• RQ2 事前学習済みGPモジュールのみを用いて、原理的かつスケーラブルでプライバシー保護型の転移学習フレームワークを構築できるか？
• RQ3 モジュラーGPモデルは、異種の尤度（例：回帰と分類）を有する多様なタスクにどの程度一般化可能か？
• RQ4 大規模およびマルチタスク設定において、メタ-GPモデルの性能は正確な推論や最先端手法と比較してどの程度か？
• RQ5 多出力シナリオにおいて、独立したモジュール間の相関を効果的に学習できるか？

主な発見

• モジュラーGPフレームワークはバナナデータセットでテストNLPD=7.21±0.04を達成し、有効な誘導点数の増加によりベースラインの変分GP（7.29±7.85×10−4）を上回った。
• 米国航空遅延データセットでは、メタ-MOGPは個々のGPモジュールおよび変分MOGPベースラインと比較して予測誤差をわずかに1%削減し、高いロバストネスを示した。
• ロンドンの住宅世帯データセットでは、回帰でNLPD=4.18±0.06、分類でNLPD=4.78±0.03を達成し、二値出力においてスタンドアロンモジュールよりも優れた性能を示した。
• MNISTピクセルワイド分類において、訓練データに再訪問せずに、データフリーのメタラーニングを成功裏に実現し、正確な予測を達成した。
• 多出力実験では、ガウス分布およびベルヌーイ分布の異種出力間で強く予測性能を維持し、誤差指標の低下は最小限に抑えられた。
• フレームワークはスケーラビリティと効率性を示し、モジュール学習後は元のデータセットサイズに依存しない計算コストを実現した。これにより、大規模および継続的学習の設定に適している。