[論文レビュー] Hilbert Space Embeddings of Predictive State Representations

Byron Boots, Geoffrey J. Gordon+1 more|arXiv (Cornell University)|Sep 26, 2013

Gaussian Processes and Bayesian Inference参考文献 25被引用数 36

ひとこと要約

本稿では、再現核ヒルバート空間（RKHS）における条件付き分布埋め込みとして状態を表現することにより、離散的PSRを連続的アクションおよび観測に一般化する非パrametric手法、ヒルベルト空間埋め込み予測状態表現（HSE-PSR）を提案する。カーネル・ベイズの法則とモーメントベースの学習を用いることで、密度推定を必要とせず統計的に一貫した推定を達成し、予測誤差が低く、連続的制御ベンチマークにおいて競合するシステム同定手法を上回る性能を発揮する。

ABSTRACT

Predictive State Representations (PSRs) are an expressive class of models for controlled stochastic processes. PSRs represent state as a set of predictions of future observable events. Because PSRs are defined entirely in terms of observable data, statistically consistent estimates of PSR parameters can be learned efficiently by manipulating moments of observed training data. Most learning algorithms for PSRs have assumed that actions and observations are finite with low cardinality. In this paper, we generalize PSRs to infinite sets of observations and actions, using the recent concept of Hilbert space embeddings of distributions. The essence is to represent the state as a nonparametric conditional embedding operator in a Reproducing Kernel Hilbert Space (RKHS) and leverage recent work in kernel methods to estimate, predict, and update the representation. We show that these Hilbert space embeddings of PSRs are able to gracefully handle continuous actions and observations, and that our learned models outperform competing system identification algorithms on several prediction benchmarks.

研究の動機と目的

• 予測状態表現（PSR）を連続的かつ高基数のアクションおよび観測空間に拡張すること。
• パラメトリック族や密度推定に依存する従来の連続的PSR手法の限界を克服すること。
• カーネル法とヒルベルト空間埋め込みを用いて、PSRの統計的に一貫した学習アルゴリズムを開発すること。
• ラベルなしのアクションおよび観測シーケンスのみを用いて、部分的に観測可能で非線形な力学的システムにおける正確な予測を可能にすること。
• 連続的制御タスクにおいて、既存のシステム同定手法を上回る優れた性能を示すこと。

提案手法

• テストおよび履歴分布のカーネル化表現を用いて、再現核ヒルベルト空間（RKHS）における非パラメトリックな条件付き埋め込み作用素として状態を表現する。
• カーネル・ベイズの法則を用いてフィルタリングおよび状態更新を実行し、明示的な密度推定を伴わずにRKHS内でのベイズ推論を可能にする。
• カーネルトリックを活用して、状態および作用素を暗黙的に表現し、訓練データに比例したサイズの状態ベクトルを維持する。
• テストと履歴の同時確率行列に対する特異値分解を用いたモーメントベースの学習により、統計的整合性を保証する。
• ガウス型RBFカーネルを用いて連続的観測およびアクションをモデル化し、複雑なダイナミクスの非パラメトリックなモデル化を可能にする。
• RKHS内に線形予測関数を維持することで、線形代数を用いた効率的なフィルタリングおよび予測が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統計的整合性を保ちつつ、PSRを連続的および高基数のアクションおよび観測空間に一般化できるか？
• RQ2 分布のヒルベルト空間埋め込みが、パラメトリック族を仮定せずに、予測状態ダイナミクスの正確な非パラメトリックモデル化を可能にするか？
• RQ3 HSE-PSRの性能は、連続的制御タスクにおける既存のシステム同定手法と比較してどのように異なるか？
• RQ4 本手法は、ラベルなしのアクションおよび観測シーケンスから、ラベルなしの潜在状態を必要とせずに学習可能か？
• RQ5 カーネルベースの学習アルゴリズムは、EMベースやパラメトリック代替手法と比較して、より高い予測精度を達成するか？

主な発見

• カート・ポールベンチマークにおいて、HSE-PSRはK-LDS、LDS、IO-HMMのベースラインを上回り、全予測ホライズンで最小の平均二乗誤差（MSE）を達成した。
• スロットカーのデータセットでは、HSE-PSRがIMUの読み取り値を予測する際、RMSEが最小であり、安定化LDSやIO-HMMを含むすべての競合モデルを顕著に上回った。
• ロボットエンドエフェクタの予測タスクでは、HSE-PSRがK-LDSや安定化LDSよりも顕著に低い平均予測誤差を示し、後者は不安定または不正確なモデルを生成した。
• HSE-PSRモデルは、密度推定や数値積分を必要とせず、すべてのベンチマークで一貫した性能を発揮した。
• 特に高次元の連続的観測空間において、非定常ダイナミクスおよび複雑な非線形性に対しても、本手法は頑健であった。
• アルゴリズムは統計的整合性とスケーラビリティを維持しており、モデルサイズが訓練データに線形に増加するため、実用的導入が可能である。