[論文レビュー] Latent Kullback Leibler Control for Continuous-State Systems using Probabilistic Graphical Models

Takamitsu Matsubara, Vicenç Gómez+1 more|arXiv (Cornell University)|Jun 4, 2014

Bayesian Modeling and Causal Inference参考文献 14被引用数 18

ひとこと要約

本論文は、連続状態の確率的最適制御問題を離散的潜在変数を用いて確率的グラフィカルモデルに埋め込むことで、効率的かつスケーラブルな最適制御を可能にする潜在Kullback-Leibler（KL）制御フレームワークを提案する。HMM や因子的HMM（FHMM）を用いて低次元の潜在表現を学習することで、高次元連続制御問題を潜在空間における取り扱いやすい固有ベクトル問題に変換し、25自由度までのシステムで近似的最適制御を達成する。計算時間は線形スケーリングを示す。

ABSTRACT

Kullback Leibler (KL) control problems allow for efficient computation of optimal control by solving a principal eigenvector problem. However, direct applicability of such framework to continuous state-action systems is limited. In this paper, we propose to embed a KL control problem in a probabilistic graphical model where observed variables correspond to the continuous (possibly high-dimensional) state of the system and latent variables correspond to a discrete (low-dimensional) representation of the state amenable for KL control computation. We present two examples of this approach. The first one uses standard hidden Markov models (HMMs) and computes exact optimal control, but is only applicable to low-dimensional systems. The second one uses factorial HMMs, it is scalable to higher dimensional problems, but control computation is approximate. We illustrate both examples in several robot motor control tasks.

研究の動機と目的

• 連続状態の確率的最適制御における次元の呪いを、潜在変数モデルに問題を埋め込むことで克服すること。
• 直接KL制御が非現実的となる高次元連続系において、効率的な最適制御の計算を可能にすること。
• 既知のシステムダイナミクスを必要とせず、システムの軌道から連続状態の粗い離散的表現をデータ駆動で学習するアプローチを開発すること。
• 因子的HMMを用いて、多自由度ロボット制御タスクにおけるスケーラビリティと近似的最適性を実証すること。
• 確率的モデリングとKL制御を統合するフレームワークを提供し、計算効率と制御性能のバランスをとること。

提案手法

• 観測変数を連続状態、潜在変数を離散的かつ低次元の状態表現とする確率的グラフィカルモデルにおいて制御問題を定式化する。
• 低次元システムではHMMを用いて正確な推論と制御計算を実行し、高次元システムでは因子的HMM（FHMM）を用いてスケーラブルな近似推論を実現する。
• 既知のシステムダイナミクスを必要とせず、探索的制御入力を用いて収集したデータからモデルパラメータ（遷移確率および発生確率）を学習する。
• 潜在空間における主固有ベクトル問題を解くことで制御計算を実行し、KL制御問題の線形可解性を活用する。
• 潜在空間での制御方策を観測状態空間にマッピングするためにフィルタリングステップを適用し、実システムへの導入を可能にする。
• 変分推論と近似固有値計算（AVKL）を用いて高次元問題へのスケーリングを実現し、計算複雑度をシステム次元に比例して線形に増加させる。

実験結果

リサーチクエスチョン

• RQ1 潜在変数モデルは、制御性能を保持しつつ、連続状態の確率的最適制御問題の複雑さを効果的に低減できるか？
• RQ2 因子的HMMの使用は、正確なHMMベースの手法と比較して、高次元システムへのスケーラビリティをどのように向上させるか？
• RQ3 潜在空間における近似推論を用いる場合、計算効率と制御精度のトレードオフはどのように変化するか？
• RQ4 提案手法は、既知のシステムダイナミクスを必要とせず、高次元ロボット運動タスクで近似的最適制御を達成できるか？
• RQ5 システムの自由度が増加するに従い、計算時間および制御誤差の観点から、この手法はどのようにスケーリングするか？

主な発見

• 正確なHMMベースのKL制御手法は、潜在状態数が4未満（M < 4）のシステムにしか適用できない。これは正確な推論の指数的スケーリングに起因する。
• 変分KL（VKL）手法は、最大7自由度のシステムにまでスケーリング可能であるが、システム次元に伴い計算時間が指数関数的に増加する。
• 近似変分KL（AVKL）手法は、自由度に比例して線形にスケーリング可能であり、最大25自由度のシステムの制御計算を可能にする。
• AVKLは、システム次元の増加にかかわらずほぼ一定の制御誤差を維持しており、ロバストネスとスケーラビリティを示している。
• 観測空間における制御計算はAVKL手法で線形にスケーリングされるが、正確な手法は7〜10自由度を超えると非現実的になる。
• 本手法は、関節制限を尊重しながら、多自由度ロボットアームを多様な初期姿勢からターゲットに到達させる制御に成功しており、高次元タスク（例：25自由度）でも有効である。