[論文レビュー] Probabilistic selection of inducing points in sparse Gaussian processes

Anders Kirk Uhrenholt, Valentin Charvet+1 more|arXiv (Cornell University)|Oct 19, 2020

Gaussian Processes and Bayesian Inference参考文献 41被引用数 7

ひとこと要約

この論文では、点過程事前分布と確率的変分ベイズ推論を用いて、スパースガウス過程における誘導点の数と位置を確率的に選択するベイジアンアプローチを提案する。この手法により、手動のチューニングや交差検証を必要とせず、データ駆動で情報量の多い誘導点を自動的に選択でき、深層ガウス過程や潜在変数モデルにおいてモデルの複雑さを低減しつつ、性能を維持または向上できる。

ABSTRACT

Sparse Gaussian processes and various extensions thereof are enabled through inducing points, that simultaneously bottleneck the predictive capacity and act as the main contributor towards model complexity. However, the number of inducing points is generally not associated with uncertainty which prevents us from applying the apparatus of Bayesian reasoning for identifying an appropriate trade-off. In this work we place a point process prior on the inducing points and approximate the associated posterior through stochastic variational inference. By letting the prior encourage a moderate number of inducing points, we enable the model to learn which and how many points to utilise. We experimentally show that fewer inducing points are preferred by the model as the points become less informative, and further demonstrate how the method can be employed in deep Gaussian processes and latent variable modelling.

研究の動機と目的

• スパースガウス過程における誘導点の数が固定の設計選択であるという限界に対処すること。
• データの情報量に基づいて、誘導点の数と位置を原理的でベイジアンなアプローチで選択できること。
• 深層ガウス過程やGP-LVMのような複雑なモデルにおいて、誘導点数を手動でチューニングしたり交差検証を実施したりする必要を減らすこと。
• 誘導点をデータから導かれる包含確率を持つ確率的変数として扱う確率的フレームワークを導入すること。
• 情報量が少ない誘導点ではより少ない点数で学習できるようにモデルが学習できることを示すことにより、性能を損なわず効率性を向上させること。

提案手法

• 誘導点に点過程事前分布を導入し、適度な数の点を好むように設計し、スパarsityと選択的特徴を促進する。
• 確率的変分ベイズ推論を用いて真の誘導点の事後分布を近似し、モデルパラメータと事後分布を同時に最適化する。
• スコア関数推定を活用して、微分可能な目的関数における下界の期待値（ELBO）を最大化し、標準的なGPフレームワークでの実装を可能にする。
• 十分統計量が既知な変分事後分布に対して、Kullback-Leibler発散を解析的に計算可能にする事前分布を定義する。
• 深層ガウス過程への応用において、複数の層にわたる最適な誘導点集合を同時に推論することで、組み合わせ的探索を回避する。
• GP-LVMへの拡張において、トレーニング中に動的に誘導点数を学習することで、交差検証によるこのハイパーパrameterの選択を不要にする。

実験結果

リサーチクエスチョン

• RQ1 確率的モデルは、スパースガウス過程における誘導点の最適な数と位置を、データ駆動で自動的に選択できるか？
• RQ2 固定された誘導点数と比較して、提案手法はモデルの複雑さを低減しつつ予測性能を維持または向上できるか？
• RQ3 深層ガウス過程に応用した場合、複数の層にわたって誘導点数を同時に最適化できるか？
• RQ4 トレーニング中に誘導点数を動的に調整することで、潜在変数モデルにおいて交差検証の必要性を排除できるか？
• RQ5 候補となる誘導点の情報量が減少するに従い、モデルの誘導点選択はどのように反応するか？

主な発見

• 誘導点の情報量が低下するにつれて、モデルは一貫してより少ない数の誘導点を選択し、データ駆動によるスパarsityと適応性を示した。
• ベンチマークデータセットにおいて、標準的手法と同等またはより良いテスト対数尤度を達成しながら、より少ない数の誘導点で実現され、効率性が向上した。
• 深層ガウス過程では、モデルが初期層に多くの点を割り当て、後続の層には少ない点を割り当てることを学習し、各層の関数的複雑さの違いを反映した。
• UCI Kin8nmデータセットでは、さまざまな事前分布設定において、精度と予測時間の近似的な最適なトレードオフを適応戦略が達成し、グリッドサーチベースラインを上回った。
• 単一細胞遺伝子発現データにおけるGP-LVMでは、モデルがトレーニング中に誘導点数を動的に調整し、このハイパーパrameterの選択に交差検証を必要としなくなった。
• 合成データ、実世界データ、高次元データの多様な設定において、予測精度を保持したままモデルの複雑さを効果的に低減できることを検証した。