[論文レビュー] Local Gaussian Regression

Franziska Meier, Philipp Hennig+1 more|arXiv (Cornell University)|Feb 4, 2014

Gaussian Processes and Bayesian Inference参考文献 17被引用数 3

ひとこと要約

本稿では、局所的重み付き回帰（LWR）の計算効率とガウス過程回帰の生成モデル能力を組み合わせた確率的で局所的な回帰手法、Local Gaussian Regression（LGR）を提案する。局所化された特徴関数と変分近似を用いることで、局所モデル間の協調学習を可能にしつつ、局所モデルの数に対して線形の計算複雑度を達成する。その結果、LWR や混合専門家モデル（ME）よりも精度とハイパーパrameterチューニングへのロバスト性に優れる。

ABSTRACT

Locally weighted regression was created as a nonparametric learning method that is computationally efficient, can learn from very large amounts of data and add data incrementally. An interesting feature of locally weighted regression is that it can work with spatially varying length scales, a beneficial property, for instance, in control problems. However, it does not provide a generative model for function values and requires training and test data to be generated identically, independently. Gaussian (process) regression, on the other hand, provides a fully generative model without significant formal requirements on the distribution of training data, but has much higher computational cost and usually works with one global scale per input dimension. Using a localising function basis and approximate inference techniques, we take Gaussian (process) regression to increasingly localised properties and toward the same computational complexity class as locally weighted regression.

研究の動機と目的

• 局所的重み付き回帰（LWR）の計算効率を保ちつつ、関数値の完全な生成モデルと局所モデル間の協調学習を可能にする確率的回帰モデルの開発。
• LWRにおけるハイパーパrameter感受性と生成構造の欠如を解消するため、局所モデルをガウス過程フレームワーク内に埋め込むこと。
• 局所モデルを独立に扱う変分近似を用いることで、ガウス過程回帰の計算コストを低減し、局所モデルの数に対して線形の複雑度を達成すること。
• 特に高次元空間やリアルタイム設定（例：ロボット制御）において、インクリメンタル学習と高い性能を維持できるようにすること。

提案手法

• 空間的局所化を表現するため、一般化線形回帰フレームワーク内に局所的特徴関数（特に径路基底関数）を用いて局所モデルを表現する。
• ガウス過程回帰を局所的特徴関数を用いた確率的モデルに再定式化し、関数値の完全な生成モデルを可能にする。
• 空間的局所化により局所モデルが概ね独立であると仮定する変分推論近似を適用し、局所モデルの数に対して計算コストを立方体から線形に削減する。
• 最尤推定を用いてモデルパラメータ（長さスケールや正則化パrameter）を学習し、モデルの複雑さとスパarsityを制御するパラメータ $ w_{\text{gen}} $ を導入する。
• 寄与度に基づいてアクティブな局所モデルの数を自動的に削減するプルーニング機構を採用し、精度を損なわずに効率性を向上させる。
• 柔軟でデータ駆動の局所的特徴表現を許容することで、局所的非パラメトリックな定式化にフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 局所的重み付き回帰（LWR）の計算効率を保ちつつ、関数値の完全な生成モデルを有する確率的回帰モデルを設計可能か？
• RQ2 グローバルなガウス過程推論の全計算コストを負担せずに、局所モデルがトレーニング中に協調学習できるか？
• RQ3 提案手法は、LWR や混合専門家モデルと比較して、どの程度ハイパーパラメータ感受性を低減できるか？
• RQ4 高次元空間やリアルタイム設定において、少ない局所モデル数と少ないチューニングで高い精度を維持できるか？

主な発見

• クロス関数ベンチマークにおいて、LGR は LWR や混合専門家モデル（ME）を上回る予測精度を達成し、少ない局所モデル数でより低い正規化平均二乗誤差を実現した。
• LGR の性能は $ w_{\text{gen}} $ ハイパーパラメータの選択に強く依存せず、高い値をとる場合でもわずかな精度向上にとどまるため、チューニングに対する感受性が低いことが示された。
• SARCOS の逆動力学タスクにおいて、LGR は全7関節で LWR や ME を上回る高い予測精度を達成し、高次元設定における優れた一般化性能を示した。
• ハイパーパラメータ $ w_{\text{gen}} = 1 $ の場合、最大2000個の局所モデルを許容するが、LGR のプルーニング機構により最終的なアクティブモデル数はわずかに抑えられ、効果的なモデル圧縮が実現した。
• 変分近似により局所モデルが適切に分離され、計算コストが局所モデル数に対して線形に抑えられつつ、モデル品質を保持した。
• LGR の生成的定式化により、LWR がトレーニングデータとテストデータを別々に扱うのとは異なり、パラメータとモデル構造の整合的学習が可能になった。