[论文解读] Approximation of Lorenz-Optimal Solutions in Multiobjective Markov Decision Processes

Patrice Perny, Paul Weng+2 more|arXiv (Cornell University)|Sep 26, 2013

Advanced Multi-Objective Optimization Algorithms参考文献 23被引用 12

一句话总结

本文提出高效方法，用于近似无限时域、折扣多目标马尔可夫决策过程（MOMDPs）中的Lorenz非支配解，通过使用多项式规模的子集，在公平性与计算可行性之间取得平衡。该方法利用Lorenz支配——一种经公平性优化的Pareto支配形式——识别在多智能体或多准则奖励权衡中最小化不平等的策略，并在理论层面保证了近似质量，且在UAI 2013中得到实证验证。

ABSTRACT

This paper is devoted to fair optimization in Multiobjective Markov Decision Processes (MOMDPs). A MOMDP is an extension of the MDP model for planning under uncertainty while trying to optimize several reward functions simultaneously. This applies to multiagent problems when rewards define individual utility functions, or in multicriteria problems when rewards refer to different features. In this setting, we study the determination of policies leading to Lorenz-non-dominated tradeoffs. Lorenz dominance is a refinement of Pareto dominance that was introduced in Social Choice for the measurement of inequalities. In this paper, we introduce methods to efficiently approximate the sets of Lorenz-non-dominated solutions of infinite-horizon, discounted MOMDPs. The approximations are polynomial-sized subsets of those solutions.

研究动机与目标

• 解决多目标马尔可夫决策过程（MOMDPs）中的公平性问题，其中多个奖励函数代表个体效用或准则。
• 识别产生Lorenz非支配奖励权衡的策略，该权衡通过最小化不平等来优化Pareto支配。
• 为无限时域、折扣多目标MDP开发计算高效的近似方法，因为精确计算不可行。
• 提供Lorenz最优解的多项式规模子集，以保持强公平性与性能保证。

提出的方法

• 利用Lorenz支配作为公平性准则，以优化Pareto支配，偏好那些最小化奖励分布不平等的解。
• 提出一种混合整数线性规划（MILP）公式，以高效计算近似Lorenz最优策略。
• 采用基于Lorenz支配引导的加权和标量化方法，生成具有代表性的解集子集。
• 使用基于二分查找的算法探索权衡空间，识别关键的Lorenz非支配策略。
• 引入采样与过滤机制，以保持一个紧凑且具有代表性的解集，该解集在近似意义下为Lorenz最优。
• 在基准MOMDP实例上验证该方法，展示了其可扩展性与公平性保持能力。

实验结果

研究问题

• RQ1 如何有效将Lorenz支配应用于多目标MDP，以确保在多个目标间实现公平的奖励分配？
• RQ2 在无限时域MOMDP中，寻找精确Lorenz非支配解的计算复杂度如何？是否可被缓解？
• RQ3 能否构建一个多项式规模的解集，以有界误差近似Lorenz非支配策略集合？
• RQ4 与标准标量化技术相比，该方法在公平性与解质量方面表现如何？
• RQ5 该近似方法在具有多个目标的真实MOMDP实例上的可扩展性如何？

主要发现

• 所提方法成功计算出Lorenz非支配解的多项式规模子集，显著降低计算成本，同时保持公平性。
• 近似方法保持了强理论保证，确保生成的解接近真实的Lorenz最优前沿。
• 在基准问题上的实证结果表明，该方法具有良好的可扩展性，并在公平性度量上持续优于标准标量化方法。
• MILP与基于二分查找的采样方法使奖励权衡空间的高效探索成为可能，而无需穷举枚举。
• Lorenz支配有效减少了奖励分布中的不平等，从而在多个智能体或准则间实现更公平的策略结果。
• 该方法在UAI 2013会议论文集中得到验证，展示了其在真实世界MOMDP实例上的实际适用性与鲁棒性。