[論文レビュー] Spatially Aggregated Gaussian Processes with Multivariate Areal Outputs

Yusuke Tanaka, Toshiyuki Tanaka+5 more|arXiv (Cornell University)|Jan 1, 2019

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

本論文は、異なるスケールの領域データセット間で空間的に依存する関数を同時に推定する多次元領域ガウス過程モデルを提案する。出力変数を共有された潜在ガウス過程の線形結合としてモデル化し、観測モデルに空間集約を組み込むことで、粗いスケールのデータの高精度な精錬が可能となり、クロスドメインの転移学習によって性能が向上する。

ABSTRACT

We propose a probabilistic model for inferring the multivariate function from multiple areal data sets with various granularities. Here, the areal data are observed not at location points but at regions. Existing regression-based models can only utilize the sufficiently fine-grained auxiliary data sets on the same domain (e.g., a city). With the proposed model, the functions for respective areal data sets are assumed to be a multivariate dependent Gaussian process (GP) that is modeled as a linear mixing of independent latent GPs. Sharing of latent GPs across multiple areal data sets allows us to effectively estimate the spatial correlation for each areal data set; moreover it can easily be extended to transfer learning across multiple domains. To handle the multivariate areal data, we design an observation model with a spatial aggregation process for each areal data set, which is an integral of the mixed GP over the corresponding region. By deriving the posterior GP, we can predict the data value at any location point by considering the spatial correlations and the dependences between areal data sets, simultaneously. Our experiments on real-world data sets demonstrate that our model can 1) accurately refine coarse-grained areal data, and 2) offer performance improvements by using the areal data sets from multiple domains.

研究の動機と目的

• 異なるドメインにおける空間的粗さが異なる多次元領域データのモデリングの課題に対処すること。
• 共有された潜在ガウス過程を通じて、複数の領域データセット間での空間相関構造の有効な共有を可能にすること。
• 領域観測値を混合ガウス過程の空間的積分としてモデル化する統一された確率的枠組みを構築すること。
• 領域データセット間の依存関係と空間相関構造を活用することで、予測精度を向上させること。
• 異なる空間的スケールを持つドメイン間で、共有された潜在空間プロセスを活用した転移学習を支援すること。

提案手法

• 複数のデータセット間の依存関係を捉えるために、多次元領域出力を独立した潜在ガウス過程の線形混合として表現する。
• 各領域データセットの観測値は、対応する領域における混合ガウス過程の空間的積分（集約）としてモデル化される。
• 各領域の空間的ドメイン上で混合GPを統合することで、領域観測値の一貫性あるモデリングが可能となる、連合尤度が導出される。
• 空間相関と多次元的依存関係を組み込んだ閉形式の事後ガウス過程を用いて、事後推論が実行される。
• 異なる粗さや空間的ドメインを持つドメイン間で潜在プロセスを共有することで、転移学習をサポートする。
• スケーラブルな推論のため、潜在プロセスの事後分布を近似するために変分推論手法が用いられる。

実験結果

リサーチクエスチョン

• RQ1 複数のドメインにおける空間的粗さが異なる多次元領域データを効果的に扱える統一された確率的モデルは構築可能か？
• RQ2 領域データ設定において、空間相関と複数データセット間の依存関係をどのように統合的にモデル化できるか？
• RQ3 共有された潜在ガウス過程は、粗いスケールの領域データにおける予測精度をどの程度向上できるか？
• RQ4 本モデルは、粗さが異なる異種の空間的ドメイン間で、効果的な転移学習を可能にするか？
• RQ5 空間的集約プロセスは、観測されていない位置における予測の忠実性にどのように影響を与えるか？

主な発見

• 空間相関と多次元的依存関係を活用することで、本モデルは粗いスケールの領域データの精錬を顕著に改善する。
• 異なるドメインからの複数の領域データセットを統合することで、単一ドメインモデルに比べて性能向上が達成される。
• 共有された潜在ガウス過程の使用により、空間的粗さが異なるドメイン間での有効な転移学習が実現される。
• 事後ガウス過程は、空間相関と複数データセットの情報を統合することで、任意の位置における高精度な点推定を提供する。
• 空間的集約モデルは、領域上の積分として領域観測値を効果的に捉えることができ、実世界のデータとのモデルの一貫性が向上する。