[論文レビュー] Greedy Block Coordinate Descent for Large Scale Gaussian Process Regression

Liefeng Bo, Cristian Sminchisescu|arXiv (Cornell University)|Jun 13, 2012

Gaussian Processes and Bayesian Inference参考文献 31被引用数 15

ひとこと要約

本稿では、グリーディなアクティブセット選択を用いて、繰り返し小さな部分問題を解くことで、大規模なガウス過程回帰の計算を高速化する変数分解手法であるグリーディ・ブロック座標降下法（GBCD）を提案する。目的関数の減少を直接推定することで、グローバル収束を達成し、共役勾配法やSMOと比較して最大10倍の高速化を実現しながら、最大100,000件のサンプルを含むデータセットにおいても高い精度を維持する。

ABSTRACT

We propose a variable decomposition algorithm -greedy block coordinate descent (GBCD)- in order to make dense Gaussian process regression practical for large scale problems. GBCD breaks a large scale optimization into a series of small sub-problems. The challenge in variable decomposition algorithms is the identification of a subproblem (the active set of variables) that yields the largest improvement. We analyze the limitations of existing methods and cast the active set selection into a zero-norm constrained optimization problem that we solve using greedy methods. By directly estimating the decrease in the objective function, we obtain not only efficient approximate solutions for GBCD, but we are also able to demonstrate that the method is globally convergent. Empirical comparisons against competing dense methods like Conjugate Gradient or SMO show that GBCD is an order of magnitude faster. Comparisons against sparse GP methods show that GBCD is both accurate and capable of handling datasets of 100,000 samples or more.

研究の動機と目的

• 大規模なデータセットにおける密行列のガウス過程回帰の計算不能性に対処すること。
• ブロック座標降下法における最適な部分問題（アクティブセット）の選択の課題を克服すること。
• スパース法の近似誤差を回避する、スケーラブルでグローバルに収束する密GP回帰のためのアルゴリズムを開発すること。
• 共役勾配法やSMOといった既存の密解法よりも顕著な高速化を達成しながら、予測精度を維持すること。

提案手法

• GBCDは、各反復で更新する変数のブロックを選択することで、大規模な最適化問題を逐次的な小さな部分問題に分解する。
• アクティブセット選択を、目的関数の減少を最大化することを目的としたゼロノルム制約付き最適化問題として定式化する。
• 目的関数の減少を直接推定することで、最適なアクティブセットに近いものをグリーディ戦略で近似する。
• 目的関数を単調に減少させる反復的改善によって、グローバル収束を保証する。
• 行列の明示的逆行列計算を避けるために、低ランク更新と効率的な部分問題の解法を活用する。
• スパース性を導入しない密カーネル行列を対象として設計されており、カーネル構造にスパarsityを導入しない高精度な回帰を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グリーディなブロック座標降下法は、大規模な密ガウス過程回帰において、速度と精度の両立を達成できるか？
• RQ2 ブロック座標降下法におけるアクティブセット選択を、目的関数の減少を最大化するように最適化できるか？
• RQ3 グリーディ選択を用いた変数分解アプローチは、密GP設定においてグローバル収束を達成できるか？
• RQ4 GBCDは、大規模なデータセットにおいて、共役勾配法、SMO、およびスパースGP手法と比較して、速度と精度の両面で優れているか？
• RQ5 GBCDは、100,000件以上のサンプルを含むデータセットに対してスケーラブルであり、高い予測性能を維持できるか？

主な発見

• GBCDは、大規模なGP回帰タスクにおいて、共役勾配法やSMOと比較して最大10倍の高速な収束を達成する。
• GBCDは、各反復で目的関数を単調に減少させることで、グローバル収束を示す。
• GBCDは高い予測精度を維持しており、大規模なデータセットにおいてスパースGP手法よりもテスト誤差が低い。
• 実験的結果から、GBCDは100,000件のサンプルを含むデータセットに対しても効果的にスケーリングでき、大規模応用における実用性を確認している。
• 目的関数の減少を直接推定するグリーディアクティブセット選択戦略は、ヒューリスティック的または近似的な選択手法と比較して優れた性能を示す。