[论文解读] Mixed Integer Linear Programming For Exact Finite-Horizon Planning In Decentralized Pomdps

Raghav Aras, Alain Dutech+1 more|arXiv (Cornell University)|Jul 17, 2007

Game Theory and Applications参考文献 12被引用 27

一句话总结

本文提出一种混合整数线性规划（MILP）方法，通过采用序列形式而非树形式表示智能体策略，精确求解有限时域的去中心化部分可观察马尔可夫决策过程（Dec-POMDPs），从而实现紧凑且组合优化的建模。该方法实现了显著的速度提升——在72秒内求解4步多智能体老虎问题，而先前算法需数小时，证明了其在小规模至中等规模问题上的优越可扩展性。

ABSTRACT

We consider the problem of finding an n-agent joint-policy for the optimal finite-horizon control of a decentralized Pomdp (Dec-Pomdp). This is a problem of very high complexity (NEXP-hard in n >= 2). In this paper, we propose a new mathematical programming approach for the problem. Our approach is based on two ideas: First, we represent each agent's policy in the sequence-form and not in the tree-form, thereby obtaining a very compact representation of the set of joint-policies. Second, using this compact representation, we solve this problem as an instance of combinatorial optimization for which we formulate a mixed integer linear program (MILP). The optimal solution of the MILP directly yields an optimal joint-policy for the Dec-Pomdp. Computational experience shows that formulating and solving the MILP requires significantly less time to solve benchmark Dec-Pomdp problems than existing algorithms. For example, the multi-agent tiger problem for horizon 4 is solved in 72 secs with the MILP whereas existing algorithms require several hours to solve it.

研究动机与目标

• 为解决有限时域Dec-POMDP规划的NEXP难复杂性，开发一种更具可扩展性的精确求解方法。
• 通过采用序列形式表示，克服树形式策略编码固有的指数级膨胀问题。
• 将联合策略优化问题建模为具有紧凑、稀疏约束的混合整数线性规划（MILP）。
• 证明该MILP公式能够显著加快最优确定性联合策略的计算速度，优于现有精确算法。
• 为在更长时域或更大规模的Dec-POMDP问题中使用该精确方法作为近似算法的构建模块奠定基础。

提出的方法

• 将每个智能体的确定性策略表示为动作-观测序列的子集（序列形式），将表示规模从双指数级降低至指数级（与时域相关）。
• 将联合策略选择问题建模为这些序列集合上的组合优化任务。
• 构建一个混合整数线性规划（MILP），其中二值变量编码策略序列的选择，约束条件确保与信念更新和转移动态的一致性。
• 利用稀疏约束矩阵，即使在序列集合规模呈指数级增长的情况下，也能通过现代MILP求解器实现高效求解。
• 在MILP公式化过程中应用剪枝技术，以消除被支配的序列，提升计算效率。
• 使用动态规划从时域κ反向逐步生成序列集合，避免完整枚举，从而实现对更长时域的可扩展性。

实验结果

研究问题

• RQ1 与树形式表示相比，序列形式策略表示能否降低精确Dec-POMDP规划的计算复杂度？
• RQ2 能否将Dec-POMDP中的联合策略选择问题有效建模为具有实际求解时间的混合整数线性规划？
• RQ3 所提出的基于MILP的方法在求解基准Dec-POMDP问题时，是否优于现有精确算法（如PBDP和MAA*）？
• RQ4 该MILP方法能否通过逐步提升（ratcheting）或值函数近似，扩展至支持长时域的近似规划？
• RQ5 是否可行使用动态规划逐步构建长时域的序列集合，从而为无限时域问题提供潜在扩展路径？

主要发现

• MILP方法在72秒内求解了4步多智能体老虎问题，而PBDP算法则耗时数小时。
• 在时域为5的MABC问题中，MILP方法仅用25秒即求解成功，而PBDP约需10^5秒。
• 序列形式表示将策略空间规模从树形式的双指数级降低至序列形式的指数级，从而实现了可处理的MILP建模。
• 尽管问题规模呈指数增长，MILP约束矩阵仍保持稀疏，从而实现了快速求解。
• 该方法找到了最优的确定性联合策略，而有限时域Dec-POMDP问题中此类策略保证存在，且未观察到使用随机策略的收益。
• 该方法在长时域Dec-POMDP的近似规划中展现出巨大潜力，尤其当短时域最优策略呈现循环特性或具有高度价值时。