[論文レビュー] Near-Optimal Active Learning of Multi-Output Gaussian Processes

Yehong Zhang, Trong Nghia Hoang+2 more|arXiv (Cornell University)|Nov 21, 2015

Gaussian Processes and Bayesian Inference参考文献 38被引用数 6

ひとこと要約

本稿では、予算制約のもとで、予測不確実性を最小化するため、サンプリング位置と測定タイプを同時に選択する近似的最適なアクティブラーニング手法を、多出力ガウス過程（MOGP）に対して提案する。スパースMOGP構造を活用し、$\epsilon$-下位モジュラリティの性質を導入することで、定数倍の保証を伴う多項式時間近似が可能となり、実世界の環境データセットにおいて既存手法を上回る性能を示した。

ABSTRACT

This paper addresses the problem of active learning of a multi-output Gaussian process (MOGP) model representing multiple types of coexisting correlated environmental phenomena. In contrast to existing works, our active learning problem involves selecting not just the most informative sampling locations to be observed but also the types of measurements at each selected location for minimizing the predictive uncertainty (i.e., posterior joint entropy) of a target phenomenon of interest given a sampling budget. Unfortunately, such an entropy criterion scales poorly in the numbers of candidate sampling locations and selected observations when optimized. To resolve this issue, we first exploit a structure common to sparse MOGP models for deriving a novel active learning criterion. Then, we exploit a relaxed form of submodularity property of our new criterion for devising a polynomial-time approximation algorithm that guarantees a constant-factor approximation of that achieved by the optimal set of selected observations. Empirical evaluation on real-world datasets shows that our proposed approach outperforms existing algorithms for active learning of MOGP and single-output GP models.

研究の動機と目的

• 多出力ガウス過程におけるアクティブラーニングの課題に取り組むこと。具体的には、予測不確実性を最小化するために、サンプリング位置と測定タイプの両方を同時に選択する必要がある。
• MOGPモデルにおける位置と測定タイプの共同選択において、エントロピー基準のスケーラビリティの低さを克服すること。
• 多出力ガウス過程設定におけるアクティブラーニングのための、理論的性能保証を伴う効率的な近似アルゴリズムを開発すること。
• 実世界の環境センシングデータセットを用いた実験的検証を通じて、従来の単出力および多出力GPアクティブラーニング手法よりも優れた性能を示すこと。

提案手法

• スパース多出力ガウス過程モデルの構造的性質、特に畳み込みMOGP（CMOGP）フレームワークを活用して、新たなアクティブラーニング基準を導出する。
• 最適化問題の理論的性能保証を可能にするために、緩和された下位モジュラリティ性質、すなわち$\epsilon$-下位モジュラリティを導入する。
• 事後分布の結合エントロピー低減に関する定数倍近似を保証する多項式時間のグリーディ近似アルゴリズムを設計する。
• CMOGPモデルにおけるスケーラブルな推論を実現するため、PITC（部分的独立学習条件付き）近似を用いることで、予測不確実性の計算を扱いやすくする。
• 行列摂動理論を用いて、近似事後共分散の誤差をバインドし、特定のパrameter条件のもとで安定性と収束性を保証する。
• アルゴリズムを実世界のデータセットに適用し、$\epsilon$-下位モジュラリティ基準に基づいて、最も情報量の多い（位置, 測定タイプ）ペアを反復的に選択する。

実験結果

リサーチクエスチョン

• RQ1 サンプリング位置と測定タイプの共同選択が、多出力ガウス過程モデルにおける予測不確実性を顕著に低減できるか？
• RQ2 空間的次元と出力タイプの次元を併せ持つMOGP設定において、エントロピー基準に基づくアクティブラーニングの計算複雑性をどのように低減できるか？
• RQ3 提案されたアクティブラーニング基準に$\epsilon$-下位モジュラリティ性質が存在するか？その存在が、理論的保証を伴う効率的近似を可能にするか？
• RQ4 提案手法は、単出力および多出力GPモデル用の既存のアクティブラーニングアルゴリズムと比較して、性能で優れているか？

主な発見

• 提案手法は、事後分布の結合エントロピー最小化について定数倍の近似保証を達成し、理論的境界のもとで近似的最適な性能を保証する。
• ジュラ土壌汚染、室内環境質（IEQ）、および沿岸のアザラシブームデータセットを用いた実験的評価により、ベースライン手法に比べて一貫した性能向上が得られた。
• 予測不確実性低減の観点から、単出力および多出力GPモデル用の既存アクティブラーニング手法をすべて上回る性能を示した。
• CMOGP構造とPITC近似の活用により、大規模データセットに対してもスケーラブルに動作し、計算の扱いやすさを維持した。
• 理論的分析により、カーネルパラメータとノイズレベルにやや厳しい条件が課されない限り、$\epsilon$-下位モジュラリティ性質が成立することが確認され、安定した最適化が可能であることが示された。