[論文レビュー] Orthogonally Decoupled Variational Gaussian Processes

Hugh Salimbeni, Ching-An Cheng+2 more|arXiv (Cornell University)|Sep 24, 2018

Gaussian Processes and Bayesian Inference被引用数 23

ひとこと要約

本稿では、平均関数を結合部分と直交残差部分に分離する新しいRKHSパラメータ化である直交的分離変分ガウス過程（Orthogonally Decoupled Variational Gaussian Processes）を提案する。この手法により、情報幾何を活用することで自然勾配最適化が効率的に行えるようになり、平均パrameterの線形計算量を維持しつつ、標準的な結合型および事前分離型アプローチよりも高速な収束と優れた性能を達成する。

ABSTRACT

Gaussian processes (GPs) provide a powerful non-parametric framework for reasoning over functions. Despite appealing theory, its superlinear computational and memory complexities have presented a long-standing challenge. State-of-the-art sparse variational inference methods trade modeling accuracy against complexity. However, the complexities of these methods still scale superlinearly in the number of basis functions, implying that that sparse GP methods are able to learn from large datasets only when a small model is used. Recently, a decoupled approach was proposed that removes the unnecessary coupling between the complexities of modeling the mean and the covariance functions of a GP. It achieves a linear complexity in the number of mean parameters, so an expressive posterior mean function can be modeled. While promising, this approach suffers from optimization difficulties due to ill-conditioning and non-convexity. In this work, we propose an alternative decoupled parametrization. It adopts an orthogonal basis in the mean function to model the residues that cannot be learned by the standard coupled approach. Therefore, our method extends, rather than replaces, the coupled approach to achieve strictly better performance. This construction admits a straightforward natural gradient update rule, so the structure of the information manifold that is lost during decoupling can be leveraged to speed up learning. Empirically, our algorithm demonstrates significantly faster convergence in multiple experiments.

研究の動機と目的

• 非凸性と悪条件性のため、既存の分離型変分ガウス過程手法に最適化の困難さと性能の劣化が生じる問題に対処すること。
• スパース変分推論の利点を保ちつつ、平均パrameterに対して線形の複雑さを維持した表現力豊かな平均関数モデリングを可能にすること。
• 情報多様体構造を活用して、効率的な自然勾配更新が可能なパラメータ化を開発すること。
• 固定計算リソース下で、提案手法が標準的結合型および事前分離型定式化を上回ることを示すこと。
• 平均関数の直交的分解が、標準的結合型手法が捉え損なう関数成分を効果的に捉えることができることを示すこと。

提案手法

• 平均関数を共分散と同一の基底を持つ結合部分と、直交する残差部分に分解する新しいRKHSパラメータ化を提案する。
• 標準的結合型手法が捉えられない関数成分をモデル化するための直交基底を用い、表現力の損失がないことを保証する。
• 結合部分と残差部分の独立した更新に分解される自然勾配更新則を導出することで、収束を高速化する。
• 情報多様体構造を活用して幾何的効率性を維持し、先行する分離型手法が抱える悪条件性の問題を回避する。
• 結合部分には自然勾配降下法、残差部分には関数的勾配降下法を組み合わせたハイブリッド最適化戦略を採用する。
• 平均パrameter数に対して線形の計算複雑度を維持することで、表現力豊かな事後平均関数のスケーラブルなモデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 RKHSにおける直交的パラメータ化を活用することで、分離型GP定式化が、収束速度の向上と性能の向上を達成できるか？
• RQ2 提案手法が、予測精度と最適化安定性の両面で、標準的結合型および事前分離型GP手法を上回るか？
• RQ3 直交的分解を用いることで、分離型GPフレームワークに自然勾配更新を効率的に適用できるか？
• RQ4 直交的残差成分が、標準的結合型手法が捉え損なう関数成分を効果的に捉えられるか？
• RQ5 固定計算リソース下で、提案手法は既存の代替手法と比較してスケーラブルかつ効果的か？

主な発見

• 提案された直交的分離GP手法は、複数の回帰および分類ベンチマークにおいて、元の分離型定式化よりも顕著に高速な収束を達成した。
• kin40kデータセットでは、テストRMSEが0.1740を達成し、結合型手法（0.1887）および元の分離型手法（0.1885）を上回った。
• 分類タスクでは、OrthNatバージョン（直交基底を用いた自然勾配）が、テストセットで平均89.0%の正解率を達成し、次に優れた手法（平均順位89.9%）および元の分離型手法を上回った。
• 対数尤度性能においても優れた結果を示し、平均テスト対数尤度は-0.5660と、結合型手法（-0.4653）および元の分離型手法を大きく上回った。
• 直交的残差成分は、標準的結合型手法が捉え損なう関数成分を効果的に捉えており、計算複雑度を増加させることなく、モデリング能力が向上した。
• 自然勾配更新則により、収束が高速化され、先行する分離型手法が抱える悪条件性の問題を回避し、より安定的かつ効果的な最適化が実現された。