[論文レビュー] Efficient Optimization for Sparse Gaussian Process Regression

Yanshuai Cao, Marcus A. Brubaker+2 more|arXiv (Cornell University)|Oct 22, 2013

Gaussian Processes and Bayesian Inference参考文献 13被引用数 13

ひとこと要約

本稿では、部分コレスキー分解のQR因子分解を用いて、1つの目的関数（尤度関数または変分自由エネルギー）を最適化することで、インダクティング点とハイパーパrameterを同時に選択する、スパースガウス過程回帰のための効率的な最適化アルゴリズムCholQRを提案する。この手法は線形時間・空間計算量を達成し、バイオインフォマティクスおよびコンピュータビジョン分野で既存の離散的手法を上回り、連続的領域でも競争力を持つ。

ABSTRACT

We propose an efficient optimization algorithm for selecting a subset of training data to induce sparsity for Gaussian process regression. The algorithm estimates an inducing set and the hyperparameters using a single objective, either the marginal likelihood or a variational free energy. The space and time complexity are linear in training set size, and the algorithm can be applied to large regression problems on discrete or continuous domains. Empirical evaluation shows state-of-art performance in discrete cases and competitive results in the continuous case.

研究の動機と目的

• 大規模データセットにおけるフルガウス過程回帰の計算的非実行可能性（時間計算量O(n³)、空間計算量O(n²)）に対処すること。
• インダクティング点選択とハイパーパrameter最適化に別々の目的関数を用いる既存のスパースGP手法の制限を克服すること。
• 非微分可能カーネルが存在する非連続入力領域を含む、離散的および連続的入力領域に適用可能な手法を開発すること。
• トレーニングセットサイズに対して線形時間・空間計算量を達成しながら、高い予測精度と整合的な最適化を維持すること。
• 反復的かつ再起動なしにインダクティング集合を改善可能な統一的で微分可能な最適化フレームワークを提供すること。

提案手法

• 部分コレスキー分解を用いて、フル共分散行列の低ランク近似を定式化することでスパースGP回帰を定式化する。
• QR因子分解を適用して、低ランク近似の効率的計算と更新を実現し、目的関数の高速評価を可能にする。
• 変分自由エネルギーまたは尤度関数を、インダクティング点選択とハイパーパrameter推定の両者に対して統一的な目的関数として最適化する。
• 以前に選択されたインダクティング点を、トレーニングセット内からより良い候補に逐次交換する反復的スワップ戦略を用い、目的関数の改善または収束を保証する。
• 勾配ベースのハイパーパrameter最適化と離散的インダクティング点選択を統合し、グリッドサーチを回避し、エンドツーエンド学習を可能にする。
• カーネル行列の構造を活用することで、アルゴリズムの効率性を維持し、時間計算量をO(m²n)に保つ（mはインダクティング点の数）。

実験結果

リサーチクエスチョン

• RQ1 離散的領域におけるスパースGP回帰において、インダクティング点とハイパーパrameterを同時に最適化するための、単一で整合的な目的関数を用いることは可能か？
• RQ2 予測性能を維持または向上させつつ、離散的インダクティング点選択の計算複雑度をどのように低減できるか？
• RQ3 目的関数の改善を保証する反復的・グリーディなインダクティング集合の改善は、ワンショットまたはランダム選択戦略を上回るか？
• RQ4 トレーニングデータからインダクティング点を選択する手法は、連続的入力領域において連続的リラクゼーション手法と同等の性能を達成できるか？
• RQ5 実世界のデータセットにおいて、SPGP、IVM、CSIといった既存のスパースGP手法と比較して、提案手法の速度と精度はどのように異なるか？

主な発見

• CholQRはバイオインフォマティクスおよびコンピュータビジョン分野の離散的データセットで最先端の性能を達成し、グリーディ選択やベースライン手法を著しく上回った。
• BindingDBデータセットでは、m=32のインダクティング点を用いたCholQRが、テストSMSE 0.157を達成し、CSI や IVM など他のすべての手法を上回った。
• KIN40Kデータセットでは、CholQR-VARがIVMより15%低いテストSMSEを達成し、mを大きくした場合にSPGPと同等または上回る性能を示したが、はるかに高速であった。
• Snelsonの1次元例において、CholQRはSPGPが初期化が悪い場合に陥りがちな悪い局所最適解を回避できた。これは初期化に強く、ロバストであることを示している。
• トレーニング時間はデータセットサイズに比例して線形に増加し、CSI（グリッドサーチを用いた）よりも一貫して性能が良く、著しく遅かった。
• 連続的領域では、変分目的関数を用いたCholQR（CholQR-VAR）が競争力のある結果を示し、KIN40KではSNLPが11.34（SPGPと同等）、mを大きくした場合にSPGPを上回るSMSEを達成した。