[論文レビュー] Multi-task Learning for Aggregated Data using Gaussian Processes

Fariba Yousefi, Michael Thomas Smith+1 more|arXiv (Cornell University)|Jun 22, 2019

Gaussian Processes and Bayesian Inference参考文献 35被引用数 6

ひとこと要約

本稿では、異なる空間的または時間的スケールで測定された変数を、変動する入力スケールにわたる統合された潜在関数を用いて同時に学習する、集計データ向けのマルチタスクガウス過程モデルを提案する。各タスクを共有の潜在プロセスの線形結合としてモデル化し、確率的変分推論を用いて異種の尤度を許容することで、予測精度が向上する。これは、大気汚染モデリングにおいて低コストで高頻度のセンサーと高精度で低頻度のデータを統合した際、SMSEが33％低減されたことで実証された。

ABSTRACT

Aggregated data is commonplace in areas such as epidemiology and demography. For example, census data for a population is usually given as averages defined over time periods or spatial resolutions (cities, regions or countries). In this paper, we present a novel multi-task learning model based on Gaussian processes for joint learning of variables that have been aggregated at different input scales. Our model represents each task as the linear combination of the realizations of latent processes that are integrated at a different scale per task. We are then able to compute the cross-covariance between the different tasks either analytically or numerically. We also allow each task to have a potentially different likelihood model and provide a variational lower bound that can be optimised in a stochastic fashion making our model suitable for larger datasets. We show examples of the model in a synthetic example, a fertility dataset, and an air pollution prediction application.

研究の動機と目的

• 疫学、人口統計学、環境センシングなどの分野で、異なる空間的または時間的スケールで収集された観測データを扱う課題に対処すること。
• 既存のGPモデルが均一な入力スケールや同質の尤度を仮定しているという制限を克服し、特に異なるデータ解像度で得られる混合型出力（連続値、カウント、バイナリなど）を扱えるようにすること。
• 異なる入力スケールと尤度モデルを持つ複数のタスクを、共有の潜在プロセスを通じて相関を保ちつつ、共同で学習できるスケーラブルで柔軟なフレームワークを開発すること。
• 高頻度で低精度なデータを活用して、低解像度で高精度な観測を高解像度の予測に応用することで、推定の忠実性を向上させること。

提案手法

• 各タスクを、特定のサポート（例：時間間隔や空間領域）にわたる潜在関数の積分として定式化し、観測されたタスク出力をその潜在関数の積分としてモデル化する。
• 共分散の線形モデル（LMC）を用いてタスク間共分散を表現し、ガウス分布、ポisson分布など異種の尤度と、タスク間の柔軟な依存構造を可能にする。
• 潜在GPカーネルをそれぞれのサポートにわたって統合することで、タスク間の共分散を解析的または数値的に導出し、タスク間相関の正確な計算を可能にする。
• 大規模データセット向けに計算複雑性を低減するため、潜在関数レベルにインダクション入力を導入し、確率的変分推論（SVI）によるスケーラブルな推論を実現する。
• ミニバッチを用いた確率的最適化をサポートする変分下界を定式化し、大規模な集計データセットに対する効率的な学習を可能にする。
• ハイパーパrameterと潜在変数を同時に最適化できる変分EMを適用し、モデル構造とパラメータのエンドツーエンド学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程は、異なる入力スケール（例：時間期間や空間領域）で定義されたタスク、特に異なる尤度を持つタスクに対して、どのように拡張可能か？
• RQ2 潜在GP統合を用いて、異なるスケールのタスク間の共分散を解析的または数値的に計算できるか？その影響は予測性能にどのように現れるか？
• RQ3 高頻度で低精度なセンサーのデータを組み込むことで、環境監視応用において低解像度で高精度な予測の精度がどの程度向上するか？
• RQ4 特に大規模データセットに対して、異種尤度と多スケールのサポートを持つマルチタスクGPモデルで、どのようにスケーラブルな推論を達成できるか？
• RQ5 提案フレームワークは、実世界の集計データに適用した場合、単一タスクモデルや既存のマルチタスクGPアプローチに比べて、予測精度と頑健性において優れているか？

主な発見

• PM2.5予測において、高頻度で低コストなセンサーと低頻度で高精度な測定値を統合した際、SMSEが統計的に有意に33％低減（0.439 ± 0.114 対 0.657 ± 0.100）された。
• センサーのデータがバイアスを含んでも、多解像度観測からの学習能力のおかげで、低頻度の汚染レベルの予測精度が向上した。
• フレームワークは、低解像度データ（例：6時間平均）の積分制約を適切に保持しながら、観測されたトレンドと整合性のある高解像度予測を生成した。
• 潜在空間におけるインダクションポイントの使用により、確率的変分推論を用いたスケーラブルな推論が実現され、大規模データセットに対してもモデルが実用可能となった。
• 異種尤度と異なる入力スケールに対しても頑健であり、合成データおよび実世界の応用において、単一タスクベースラインを上回る性能を示した。
• ミニバッチを用いた変分EMアルゴリズムにより、効率的な最適化が可能となり、大規模データを扱う実世界の環境監視問題への応用が可能になった。