[論文レビュー] Ensemble Multi-task Gaussian Process Regression with Multiple Latent Processes

Weitong Ruan, Eric L. Miller|arXiv (Cornell University)|Sep 22, 2017

Gaussian Processes and Bayesian Inference参考文献 1被引用数 4

ひとこと要約

本稿では、各出力を複数の潜在プロセスの重み付き混合として表現するアンサンブル・マルチタスク・ガウス過程回帰モデルを提案する。共分散行列は、タスク固有の重みと空間的共分散行列のクーロン積の和として分解される。本手法はミニバッチ・アンサンブル学習を用いた2段階で並列化可能な学習アルゴリズムを採用し、実世界のデータセットにおいてベースラインモデルと比較してMSEが17.9–23.7%低減され、MAEが7.5–14.9%低減された。さらに、最先端の単一タスクGP手法の統合が可能である。

ABSTRACT

Multi-task/Multi-output learning seeks to exploit correlation among tasks to enhance performance over learning or solving each task independently. In this paper, we investigate this problem in the context of Gaussian Processes (GPs) and propose a new model which learns a mixture of latent processes by decomposing the covariance matrix into a sum of structured hidden components each of which is controlled by a latent GP over input features and a "weight" over tasks. From this sum structure, we propose a parallelizable parameter learning algorithm with a predetermined initialization for the "weights". We also notice that an ensemble parameter learning approach using mini-batches of training data not only reduces the computation complexity of learning but also improves the regression performance. We evaluate our model on two datasets, the smaller Swiss Jura dataset and another relatively larger ATMS dataset from NOAA. Substantial improvements are observed compared with established alternatives.

研究の動機と目的

• 既存のマルチタスクGPモデルが単一の共有潜在プロセスを仮定するための制限を解消し、モデルの柔軟性を向上させること。
• 各タスクがデータ駆動の重みで複数の潜在プロセスの混合から生成されることを許容することで、回帰性能を向上させること。
• ミニバッチ・アンサンブル学習を用いた並列化可能で2段階の学習アルゴリズムにより、計算複雑性を低減し、スケーラビリティを向上させること。
• 最新の単一タスクGPアルゴリズムを再設計なしにマルチタスク学習フレームワークにシームレスに統合できる枠組みを設計すること。

提案手法

• モデルは、タスク固有の重みベクトルと個々の潜在プロセスからの空間的共分散行列とのクーロン積の和として、結合共分散行列を表現する。
• 各タスクの出力は、複数の潜在GPの線形結合としてモデル化され、重みはデータから学習されるため、共有表現の柔軟でタスク固有の混合が可能になる。
• 2段階の学習アルゴリズムを提案：第1段階では、各タスクごとに独立してGPを訓練し、潜在プロセスのパラメータを初期化する。第2段階では、全タスクにわたるミニバッチ・アンサンブルを用いて重みを学習する。
• アンサンブル手法では、異なるミニバッチで訓練された複数の回帰器を用い、最終的な予測を平均化することで、分散を低減し、予期しない精度向上を達成する。
• アルゴリズムは並列化可能である：第1段階では各タスクごとに潜在プロセスを並列に訓練し、第2段階ではミニバッチ処理により計算をスケーリングする。
• 本フレームワークは、スパースGP、変分推論、分散GPエキスパートモデルなどの現代的なGP技術と互換性があり、最先端の単一タスク手法を即座に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 各タスクを複数の潜在プロセスの混合としてモデル化することで、単一の潜在プロセスモデルを上回るマルチタスク回帰性能が達成できるか？
• RQ2 マルチタスクGPフレームワークにおいてミニバッチ・アンサンブル学習を用いることで、計算コストを低減しつつ一般化性能と精度を向上させられるか？
• RQ3 提案された2段階で並列化可能な学習アルゴリズムは、モデル表現力の損失を伴わずに大規模データセットにも効果的にスケーリングできるか？
• RQ4 本フレームワークは、アーキテクチャの再設計なしに、どれほどまでに最先端の単一タスクGPアルゴリズムをマルチタスク設定に統合できるか？

主な発見

• 提案されたEMGPRモデルは、スイス・ユーラデータセットにおいて、「トランスファーなし」のGPベースラインと比較して平均二乗誤差（MSE）が17.9%改善された。
• 同じデータセットにおいて、R₁=3のICMモデルと比較して、EMGPRはMSEで23.7%優れており、より高いモデル複雑性でも優れた性能を示した。
• EMGPRモデルは全実験において最小の標準偏差（SD）を達成し、すべてのベースラインと比較してより高いロバスト性と低い分散を示した。
• 平均絶対誤差（MAE）において、EMGPRは最良のICMバージョン（ICM(R₁=1)）と比較して8.8%改善され、また「トランスファーなし」のGPベースラインと比較しても7.5%改善された。
• アンサンブル学習手法は主に計算効率を目的として設計されたが、予期しない精度向上をもたらした。これは分散低減に起因する有益なインダクティブバイアスであると考えられる。
• EMGPRモデルは10回の全実験ですべてのベースラインを上回り、一貫性があり信頼性の高い性能向上を示した。