[论文解读] Scalable Planning with Tensorflow for Hybrid Nonlinear Domains

Ga Wu, Buser Say+1 more|arXiv (Cornell University)|Apr 25, 2017

Machine Learning and Algorithms参考文献 12被引用 13

一句话总结

本文提出在具有高维连续动作空间的混合非线性领域中，使用TensorFlow结合RMSProp梯度下降法，实现可扩展的、GPU加速的规划。实验表明，该方法在分段线性领域中达到近似最优性能，在非线性领域中优于内点法，且在大规模并行规划问题中，仅用不到4分钟即收敛至包含576,000个动作的优质规划方案。

ABSTRACT

Given recent deep learning results that demonstrate the ability to effectively optimize high-dimensional non-convex functions with gradient descent optimization on GPUs, we ask in this paper whether symbolic gradient optimization tools such as Tensorflow can be effective for planning in hybrid (mixed discrete and continuous) nonlinear domains with high dimensional state and action spaces? To this end, we demonstrate that hybrid planning with Tensorflow and RMSProp gradient descent is competitive with mixed integer linear program (MILP) based optimization on piecewise linear planning domains (where we can compute optimal solutions) and substantially outperforms state-of-the-art interior point methods for nonlinear planning domains. Furthermore, we remark that Tensorflow is highly scalable, converging to a strong plan on a large-scale concurrent domain with a total of 576,000 continuous action parameters distributed over a horizon of 96 time steps and 100 parallel instances in only 4 minutes. We provide a number of insights that clarify such strong performance including observations that despite long horizons, RMSProp avoids both the vanishing and exploding gradient problems. Together these results suggest a new frontier for highly scalable planning in nonlinear hybrid domains by leveraging GPUs and the power of recent advances in gradient descent with highly optimized toolkits like Tensorflow.

研究动机与目标

• 探究类似TensorFlow的符号梯度优化工具是否能有效处理具有高维状态与动作空间的混合（离散-连续）非线性领域中的规划问题。
• 评估基于TensorFlow的梯度下降法在复杂现实领域（如HVAC、水库控制和导航）中的可扩展性与性能表现。
• 确定RMSProp是否能在非线性混合领域中，于长规划时域内有效避免梯度消失与梯度爆炸问题。
• 从解的质量与计算时间两方面，将所提方法与最先进的规划器（包括基于MILP的求解器和内点法）进行对比。
• 探索使用深度学习优化工具包在非凸、高维领域中进行符号规划的实际可行性。

提出的方法

• 本文使用TensorFlow将混合非线性规划问题编译为可微分的计算图，从而支持时间反向传播的端到端计算。
• 将规划目标表述为在连续动作与状态上的可微分代价函数，其中非线性转移函数与奖励函数以符号表达式形式编码。
• 采用RMSProp作为优化算法，通过梯度下降最小化代价函数，充分利用自动微分与GPU加速能力。
• 该方法支持并行批量处理多个规划实例，显著提升可扩展性。
• 该方法在三个不同复杂度与动作空间维度的领域中进行了评估：导航、水库控制与HVAC。
• 通过调整学习率与优化器选择等超参数，平衡收敛速度与解的质量。

实验结果

研究问题

• RQ1 在分段线性混合规划领域中，基于TensorFlow的梯度下降结合RMSProp是否能与最优MILP解法相比达到具有竞争力的性能？
• RQ2 在具有高维连续动作空间的非线性混合规划领域中，所提方法是否优于传统内点法？
• RQ3 RMSProp是否能在非线性混合领域中，于长规划时域内有效避免梯度消失与梯度爆炸问题？
• RQ4 该方法在包含数十万连续动作参数的大规模并行规划问题中表现如何？
• RQ5 学习率与优化器选择对混合非线性规划中收敛速度与最终解质量有何影响？

主要发现

• 在分段线性领域中，TensorFlow结合RMSProp的性能与最优MILP解法相当，表明其对非凸函数具有近似最优性。
• 在非线性领域中，该方法显著优于MATLAB的fmincon内点求解器，在数百倍更短的时间内达到相当或更优的解。
• 在GPU上，该方法在100个并行实例与96个时间步长的条件下，仅用不到4分钟即收敛至包含576,000个连续动作参数的优质规划方案。
• 实验结果表明，RMSProp在长时域内有效避免了梯度消失与梯度爆炸问题，表现为稳定且持续的收敛过程。
• HVAC领域中，最优学习率为0.01，能平衡快速收敛与高解质量；而0.001等较低学习率收敛过慢，难以满足实际应用需求。
• 在标准优化器中，RMSProp展现出最快收敛速度与最佳性能，优于易受梯度消失影响的Adagrad与Adadelta。