[論文レビュー] Real-Time Regression with Dividing Local Gaussian Processes

Armin Lederer, Alejandro Jose Ordóñez Conejo+4 more|arXiv (Cornell University)|Jun 16, 2020

Gaussian Processes and Bayesian Inference参考文献 45被引用数 5

ひとこと要約

本論文では、入力空間をデータ駆動的で反復的なプロセスによって局所領域に分割する、Dividing Local Gaussian Processes (DLGP) という新規なリアルタイム回帰手法を提案する。この手法により、予測および更新時間における非線形計算量の低減が可能となり、大規模な実世界のデータセットにおいて最先端の精度と信頼性の高い予測分布を達成する。既存手法に比べ、速度と不確実性推定の両面で優れている。

ABSTRACT

The increased demand for online prediction and the growing availability of large data sets drives the need for computationally efficient models. While exact Gaussian process regression shows various favorable theoretical properties (uncertainty estimate, unlimited expressive power), the poor scaling with respect to the training set size prohibits its application in big data regimes in real-time. Therefore, this paper proposes dividing local Gaussian processes, which are a novel, computationally efficient modeling approach based on Gaussian process regression. Due to an iterative, data-driven division of the input space, they achieve a sublinear computational complexity in the total number of training points in practice, while providing excellent predictive distributions. A numerical evaluation on real-world data sets shows their advantages over other state-of-the-art methods in terms of accuracy as well as prediction and update speed.

研究の動機と目的

• ロボット工学や制御システムなど、高頻度での更新が求められるアプリケーションにおけるリアルタイム回帰の課題に対処すること。
• ガウス過程回帰の正確な計算が、O(N^3) の計算量のため大規模データセットでは計算的に非現実的であるという問題を克服すること。
• 高速なオンライン更新を可能にしつつ、高い予測精度と信頼性の高い不確実性評価を維持する手法を開発すること。
• 予測および更新時間のスケーリングを、トレーニングデータサイズに対して対数的または非線形的（sublinear）に保つことにより、リアルタイムデプロイメントを可能にすること。

提案手法

• トレーニング中にデータ駆動的で反復的な分割プロセスを用いて、入力空間を局所領域に分割する。
• 各領域に対応する訓練データの互いに disjoint な部分集合に対して、局所ガウス過程モデルを独立に訓練する。
• テスト点からの距離に応じた重み付け平均を用いて、複数の局所モデルの予測結果を統合する。
• 局所モデルの数とそのサイズは、各局所モデルの最大トレーニング点数を制限するハイパーパrameter ¯N によって制御される。
• 隣接する領域が予測に寄与できるように、動的オーバーラップ比 θ を用いることで、モデルのロバスト性を向上させる。
• 更新は、新しいデータポイントに影響を受ける局所モデルのみを再訓練することで、逐次的に行い、更新計算量を低減する。

実験結果

リサーチクエスチョン

• RQ1 局所GPベースの手法が、大規模データセットにおいても高い精度を維持しつつ、予測および更新時間に非線形スケーリングを達成できるか。
• RQ2 DLGPの予測性能は、正確なGPおよび他の最先端の近似手法と比較して、誤差および不確実性のキャリブレーションの観点でどのように差がつくか。
• RQ3 固定またはランダムな分割と比較して、データ駆動的入力空間分割が一般化性能および不確実性推定にどれほど向上効果をもたらすか。
• RQ4 高頻度更新が求められるリアルタイム学習シナリオにおいて、トレーニングデータサイズの増加に伴い、この手法はどのようにスケーリングするか。
• RQ5 正確なGP回帰の計算限界を超えるトレーニングポイント数が存在する状況でも、DLGPは高い性能を維持できるか。

主な発見

• DLGPは、トレーニングデータサイズ N に対して予測および更新時間の対数的成長を達成しており、線形または定数計算量の手法を上回っている。
• KUKAフラスコ押し出しデータセットでは、DLGP100 が全関節で最小の nMSE (0.04) および NLL (-2.8) を達成し、一部の関節では正確なGPでさえも上回った。
• DLGPの予測分布は、他のGP近似手法よりも信頼性が高く、NLL値が正確なGPに近く、関節6番および7番では正確なGPを下回る結果となった。
• I-SSGP や DTC といった最先端手法よりも高速な更新時間を達成し、対数的スケーリングを示しており、リアルタイムアプリケーションに適している。
• ¯N = 100 という小さな値でも高い精度を維持でき、¯N を 500 に引き上げても性能の向上は顕著でなかったため、ハイパーパrameterの選択に対してロバストであることが示された。
• I-SSGP や他の手法とは異なり、DLGP は限界表現力の問題に陥ることなく、すべての訓練データから学習を可能としており、早期収束を回避した。