[论文解读] Latent Kullback Leibler Control for Continuous-State Systems using Probabilistic Graphical Models

Takamitsu Matsubara, Vicenç Gómez+1 more|arXiv (Cornell University)|Jun 4, 2014

Bayesian Modeling and Causal Inference参考文献 14被引用 18

一句话总结

本文提出了一种潜在Kullback-Leibler（KL）控制框架，通过使用离散潜在变量将连续状态的随机控制问题嵌入概率图模型中，实现高效且可扩展的最优控制。通过利用HMM或因子HMM（FHMM）学习低维潜在表示，该方法将高维连续控制问题转化为潜在空间中的可处理特征向量问题，在计算时间上线性增长的前提下，实现了最多25个自由度系统的近似最优控制。

ABSTRACT

Kullback Leibler (KL) control problems allow for efficient computation of optimal control by solving a principal eigenvector problem. However, direct applicability of such framework to continuous state-action systems is limited. In this paper, we propose to embed a KL control problem in a probabilistic graphical model where observed variables correspond to the continuous (possibly high-dimensional) state of the system and latent variables correspond to a discrete (low-dimensional) representation of the state amenable for KL control computation. We present two examples of this approach. The first one uses standard hidden Markov models (HMMs) and computes exact optimal control, but is only applicable to low-dimensional systems. The second one uses factorial HMMs, it is scalable to higher dimensional problems, but control computation is approximate. We illustrate both examples in several robot motor control tasks.

研究动机与目标

• 通过将问题嵌入潜在变量模型，解决连续状态随机最优控制中的维度灾难问题。
• 在直接KL控制不可行的高维连续系统中，实现最优控制的高效计算。
• 开发一种数据驱动方法，从系统轨迹中学习连续状态的粗粒度离散表示，而无需已知系统动力学。
• 通过因子HMM在多自由度机器人控制任务中展示可扩展性与近似最优性。
• 提供一种结合概率建模与KL控制的框架，以在计算效率与控制性能之间取得平衡。

提出的方法

• 在概率图模型中表述控制问题，其中观测变量表示连续状态，潜在变量表示离散的低维状态表示。
• 对低维系统使用隐马尔可夫模型（HMM）进行精确推理与控制计算，对高维系统使用因子HMM（FHMM）进行可扩展的近似推理。
• 从使用探索性控制输入收集的数据中学习模型参数（转移概率与发射概率），而无需已知系统动力学。
• 通过在潜在空间中求解主特征向量问题来执行控制计算，利用KL控制问题的线性可解性。
• 通过滤波步骤将潜在控制策略映射回观测状态空间，以实现真实系统的部署。
• 使用变分推理与近似特征值计算（AVKL）将方法扩展至高维问题，计算复杂度随系统维度线性增长。

实验结果

研究问题

• RQ1 潜在变量模型能否在保持控制性能的前提下，有效降低连续状态随机最优控制问题的复杂度？
• RQ2 与基于精确HMM的方法相比，因子HMM如何实现对高维系统的可扩展性？
• RQ3 在潜在空间中使用近似推理时，计算效率与控制精度之间的权衡如何？
• RQ4 所提出的方法能否在无需显式系统动力学的情况下，实现在高维机器人运动任务中的近似最优控制？
• RQ5 在计算时间与控制误差方面，该方法随自由度增加的扩展特性如何？

主要发现

• 基于精确HMM的KL控制方法仅适用于潜在状态数少于4个（M < 4）的系统，因精确推理的指数级增长而受限。
• 变分KL（VKL）方法可扩展至最多7个自由度的系统，但计算时间随系统维度呈指数增长。
• 近似变分KL（AVKL）方法在自由度数量上呈线性扩展，使25个自由度的系统控制计算成为可能。
• AVKL在系统维度增加时保持近乎恒定的控制误差，表明其具备鲁棒性与可扩展性。
• 在观测空间中的控制计算随AVKL方法线性增长，而精确方法在7–10个自由度以上即变得不可行。
• 该方法成功控制了多自由度机械臂，使其能从多种初始构型下到达目标位置，且在高维任务（如25自由度）中仍能遵守关节限位。