[論文レビュー] Multi-resolution Multi-task Gaussian Processes

Oliver Hamelijnck, Theodoros Damoulas+2 more|arXiv (Cornell University)|Jun 19, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用数 8

ひとこと要約

本稿では、空間的・時間的分解能や忠実度が異なる異種で相関のあるノイズ混在センサー観測データを統合する、マルチリソリューション・マルチタスク・ガウス過程フレームワーク（MRGP）を提案する。浅いGP混合モデルと複合尤度、およびディープGPアーキテクチャを導入し、タスク間およびタスク内での依存関係をモデル化することで、ロンドンにおける高分解能の大気汚染推定を高精度に実現し、従来手法に比べて不確実性の定量的評価と予測性能が向上する。

ABSTRACT

We consider evidence integration from potentially dependent observation processes under varying spatio-temporal sampling resolutions and noise levels. We develop a multi-resolution multi-task (MRGP) framework while allowing for both inter-task and intra-task multi-resolution and multi-fidelity. We develop shallow Gaussian Process (GP) mixtures that approximate the difficult to estimate joint likelihood with a composite one and deep GP constructions that naturally handle biases in the mean. By doing so, we generalize and outperform state of the art GP compositions and offer information-theoretic corrections and efficient variational approximations. We demonstrate the competitiveness of MRGPs on synthetic settings and on the challenging problem of hyper-local estimation of air pollution levels across London from multiple sensing modalities operating at disparate spatio-temporal resolutions.

研究の動機と目的

• 実世界の機械学習応用において、依存関係のある、マルチリソリューションおよびマルチファシリティ観測プロセスを統合する課題に対処すること。
• 独立性およびバイアスのない観測を仮定する従来のガウス過程モデルの限界を克服すること。これにより事後分布が収縮し、性能が低下する問題を解消すること。
• 空間的・時間的変動を伴う大気汚染推定に適した、スケーラブルで非定常的かつ非パラメトリックなモデルを構築し、正確な不確実性の定量的評価を実現すること。
• 既存の手法を一般化し、タスク間およびタスク内でのマルチリソリューションおよびマルチファシリティ学習を両立可能にする。
• 合成データおよびロンドンにおけるハイパーサブローカル大気汚染予測タスクにおいて、本フレームワークの優位性を実証すること。

提案手法

• 観測プロセス間の依存関係を補正するため、複合尤度を用いた浅いGP混合モデルmr-gprnを提案する。
• 潜在GPをタスク固有の重み関数でモデル化することで、ガウス積算モデル、マルチタスクGP、および変分推論を拡張する。
• 潜在関数の階層的合成により、観測プロセスのバイアスを自然に扱えるディープGP構造を導入する。
• 情報理論的補正と効率的な変分近似を用いて、尤度推定の精度とスケーラビリティを向上させる。
• 固定または学習可能な重み行列を用いて、異なる分解能からの観測を統一されたGPベースの尤度フレームワークに統合する。
• 空間的・時間的データに適用する際、集約観測を潜在GP実現の重み付き和としてモデル化し、クロスカーネル統合から導かれる共分散を用いる。

実験結果

リサーチクエスチョン

• RQ1 依存関係のあるマルチファシリティおよびマルチリソリューションセンサー観測データを、独立性やバイアスのない仮定なしに効果的に統合できるマルチリソリューション・マルチタスクGPフレームワークは存在するか？
• RQ2 複合尤度と変分近似は、観測プロセス間の複雑な依存関係が存在する状況において、事後分布推定をどのように改善するか？
• RQ3 ディープGPアーキテクチャは、浅いモデルと比較して、マルチリソリューションセンサー観測データのバイアスおよび非定常性をどの程度正確にモデル化できるか？
• RQ4 提案されたMRGPフレームワークは、ハイパーサブローカル大気汚染予測タスクにおいて、既存の最先端手法を上回る性能を示すか？
• RQ5 信号対雑音比や空間的・時間的サポートが異なるデータを統合する際、モデルは不確実性の定量的評価をどの程度正確に維持できるか？

主な発見

• 複合尤度を用いたmr-gprnモデルは、観測プロセスに依存関係がある場合、標準的なGPモデルに比べて予測性能が顕著に向上する。
• ディープGP構造は、系統的な測定誤差が存在する状況で、浅いモデルを上回る性能を発揮し、バイアスを効果的に捉えている。
• 合成データでは、i.i.d.でない環境およびマルチファシリティ設定下でも、MRGPフレームワークはベースライン手法に比べて予測誤差が低く、不確実性のキャリブレーションが優れている。
• ロンドンの大気汚染ケーススタディでは、高周波で低ファシリティのセンサーと、低周波で高ファシリティの地上および衛星データを統合することで、高分解能のハイパーサブローカル予測が可能になった。
• モデルは、さまざまなサンプリング分解能およびノイズレベルに対して頑健であり、真の不確実性を反映するより良い事後分散推定を示している。
• 情報理論的補正と変分近似の活用により、直接的な同時尤度推定に比べて、より安定的かつスケーラブルな推論が実現された。