[論文レビュー] A Hierarchical Bayesian Linear Regression Model with Local Features for Stochastic Dynamics Approximation

Behnoosh Parsa, Keshav Rajasekaran+2 more|arXiv (Cornell University)|Jul 11, 2018

Model Reduction and Neural Networks参考文献 4被引用数 5

ひとこと要約

本稿では、局所的特徴を組み込んだ階層ベイズ線形回帰モデルを提案し、非線形系における確率的ダイナミクスを近似する。変分期待最大化法に隠れターゲット変数を導入することで、効率的かつ高精度な学習が可能となる。本手法は、多様なシステム（マイクロロボティクスプラットフォームを含む）において高速かつ正確な予測を達成し、リアルタイムのモデルベース制御応用における頑健性とスケーラビリティを示している。

ABSTRACT

One of the challenges in model-based control of stochastic dynamical systems is that the state transition dynamics are involved, and it is not easy or efficient to make good-quality predictions of the states. Moreover, there are not many representational models for the majority of autonomous systems, as it is not easy to build a compact model that captures the entire dynamical subtleties and uncertainties. In this work, we present a hierarchical Bayesian linear regression model with local features to learn the dynamics of a micro-robotic system as well as two simpler examples, consisting of a stochastic mass-spring damper and a stochastic double inverted pendulum on a cart. The model is hierarchical since we assume non-stationary priors for the model parameters. These non-stationary priors make the model more flexible by imposing priors on the priors of the model. To solve the maximum likelihood (ML) problem for this hierarchical model, we use the variational expectation maximization (EM) algorithm, and enhance the procedure by introducing hidden target variables. The algorithm yields parsimonious model structures, and consistently provides fast and accurate predictions for all our examples involving large training and test sets. This demonstrates the effectiveness of the method in learning stochastic dynamics, which makes it suitable for future use in a paradigm, such as model-based reinforcement learning, to compute optimal control policies in real time.

研究の動機と目的

• 固有の不確実性と非線形性を有する確率的動的システムの正確でコンactな、かつ高速に推論可能なモデルを学習する課題に対処すること。
• 階層的事前分布と局所的特徴重み付けを組み合わせることで、局所的ダイナミクスに適応可能な柔軟な回帰フレームワークを開発すること。
• 最小限の計算オーバーヘッドで高速な推論と効率的なオンライン学習を実現することで、リアルタイムのモデルベース制御を可能にすること。
• 高次元でノイズの多いシステム、特にロボットおよびマイクロロボティクスプラットフォームにおいて、予測精度とモデルの簡潔さを向上させること。
• 計算的取り扱いやすさを保ちながら、システムダイナミクスの不確実性を捉えるスケーラブルなベイズ的手法を提供すること。

提案手法

• 本モデルは、局所的ダイナミクスへの柔軟性と適応性を高めるために、回帰係数に非定常な事前分布を導入した階層ベイズ構造を採用している。
• 局所的特徴は、各予測がクエリ点に近い訓練データのサブセットに重み付けされる局所加重回帰機構により組み込まれている。
• 最大尤度推定問題を解くために変分期待最大化（VEM）アルゴリズムが用いられ、収束性と最適化の安定性を向上させるために隠れターゲット変数が導入されている。
• 標準的な正則性仮定のもとで、本アルゴリズムは最適な対数尤度値に収束することが保証されており、頑健な学習が可能である。
• 計算コストを削減するスパース近似戦略が用いられ、M ≪ N である限り O(NM²) の複雑度を維持することで、大規模データセットへのスケーラビリティが実現されている。
• 重みのハイパーパラメータを用いた自動関連性決定（ARD）により、特徴の削除が可能となり、一般化性能の向上が達成される。

実験結果

リサーチクエスチョン

• RQ1 局所的特徴を有する階層ベイズモデルは、複雑な確率的ダイナミクスの近似において、グローバル回帰モデルを上回る性能を示せるか？
• RQ2 VEMアルゴリズムに隠れターゲット変数を組み込むことで、確率的ダイナミクス学習における収束性と予測精度はどのように向上するか？
• RQ3 本手法は、大規模な訓練およびテストデータセットに対しても、リアルタイム制御に必要な高速な推論を維持しながらスケーラブルに拡張可能か？
• RQ4 本モデルは、マイクロロボティクスプラットフォームなどの非線形的でノイズの多い動的システムにおける不確実性と非定常性をどれほど正確に捉えることができるか？
• RQ5 自動特徴選択とハイパーパラメータベースの正則化により、本手法は高い予測精度とモデルの簡潔さを両立できるか？

主な発見

• 本モデルは、大規模データを有する挑戦的なマイクロロボティクスプラットフォームを含む、すべてのテストシステムにおいて一貫して高速かつ高精度な予測を達成した。
• 隠れターゲット変数を導入した変分EMアルゴリズムは、妥当な仮定のもとで最適な対数尤度値に信頼性高く収束し、安定した学習が保証された。
• 本手法は優れた一般化性能を示し、自動特徴削除を伴う簡潔なモデルを生成した—例えば、SDIPシステムのモデル3ではバイアス項と線形項が削除された。
• SDIPシステムでは、β_f1 = 974.10、β_f2 = 983.51、β_f3 = 976.02 といった学習済みパラメータを達成し、予測に対する高い信頼性を示した。
• 本モデルは大規模データセットに対しても効果的にスケーリングされ、最大のシステム（SDIP）では60万点を超えるデータ点を処理し、高い対数尤度値（例：β_f1 = 622729.59）を達成した。これは、良好なフィットと不確実性の定量化を示している。
• 本手法は、ベースラインのグローバルモデルを上回る予測精度と計算効率を示し、リアルタイムのモデルベース強化学習に適している。