[论文解读] Approximate Dynamic Programming with Neural Networks in Linear Discrete Action Spaces

Wouter van Heeswijk, Han La Poutré|arXiv (Cornell University)|Feb 26, 2019

Adaptive Dynamic Programming Control参考文献 15被引用 5

一句话总结

本文提出了一种混合近似动态规划方法，将基于神经网络的价值函数近似（NN-VFA）整合到线性规划中，以解决高维、组合型运筹学问题，特别是具有大规模离散动作空间的问题。通过将非线性神经网络嵌入线性规划框架，该方法减少了人工特征工程的工作量，并显著优于传统的多项式基VFAs。多层网络实现19.6%的平均策略性能提升，同时保持了稳定性。

ABSTRACT

Real-world problems of operations research are typically high-dimensional and combinatorial. Linear programs are generally used to formulate and efficiently solve these large decision problems. However, in multi-period decision problems, we must often compute expected downstream values corresponding to current decisions. When applying stochastic methods to approximate these values, linear programs become restrictive for designing value function approximations (VFAs). In particular, the manual design of a polynomial VFA is challenging. This paper presents an integrated approach for complex optimization problems, focusing on applications in the domain of operations research. It develops a hybrid solution method that combines linear programming and neural networks as part of approximate dynamic programming. Our proposed solution method embeds neural network VFAs into linear decision problems, combining the nonlinear expressive power of neural networks with the efficiency of solving linear programs. As a proof of concept, we perform numerical experiments on a transportation problem. The neural network VFAs consistently outperform polynomial VFAs, with limited design and tuning effort.

研究动机与目标

• 为运筹学中常见的大规模离散动作空间中的有效价值函数近似（VFA）设计挑战提供解决方案。
• 减少为VFA设计多项式特征所需的手动工作量，因为高阶交互作用的特征工程既易出错又复杂。
• 开发一种结合线性规划效率与神经网络非线性表达能力的混合方法。
• 评估不同神经网络架构在真实世界交通运输问题中的性能与计算成本权衡。
• 证明NN-VFAs在策略质量与稳定性方面可显著优于传统多项式VFAs。

提出的方法

• 将基于神经网络的价值函数近似（NN-VFA）直接嵌入线性规划的目标函数中，保持线性结构以实现高效求解。
• 使用分段线性激活函数（如ReLU）以确保与线性规划公式的兼容性。
• 采用两阶段方法：首先训练神经网络以近似下游价值函数；其次，将训练好的网络作为线性规划中的非线性目标项使用。
• 应用标准深度学习技术（如随机梯度下降、批量归一化）在历史或模拟数据上训练NN-VFAs。
• 比较多种架构（如1层与3层网络、不同神经元数量）以评估性能与计算成本。
• 对不同VFA类型的策略性能与计算时间进行归一化处理，以实现公平比较。

实验结果

研究问题

• RQ1 基于神经网络的价值函数近似能否有效集成到运筹学中动态决策问题的线性规划中？
• RQ2 NN-VFAs在策略质量与稳定性方面与传统多项式基VFAs相比表现如何？
• RQ3 在混合LP-NVFA框架中，使用更深或更宽的神经网络时，计算成本与性能之间的权衡如何？
• RQ4 与多项式VFAs相比，NN-VFA是否能减少在复杂高维动作空间中对人工特征工程的需求？
• RQ5 NN-VFA的性能增益在不同超参数设置（如初始学习率、训练迭代次数、网络深度）下是否具有鲁棒性？

主要发现

• NN(3,20)-VFA相比多项式VFA（PL-VFA）实现了19.6%更高的平均策略性能，归一化平均性能达1.196。
• NN(1,20)-VFA在平均策略性能上比PL-VFA高出10.1%，尽管其方差更高（标准差1.65%）。
• NN(3,20)-VFA在时间上表现出更高的稳定性，其标准差（0.72%）低于NN(1,20)-VFA（1.65%）。
• 每次迭代的计算时间随网络复杂度增加而上升：PL-VFA耗时0.02秒，NN(1,20)-VFA耗时0.16秒，NN(3,20)-VFA耗时0.39秒。
• NN(3,20)-VFA在多次训练运行和多种评估指标下，始终优于PL-VFA和浅层NN(1,20)-VFA。
• 该混合方法显著减少了对手动特征工程的需求，因为神经网络能自动从原始特征中学习复杂的高阶交互关系。