[论文解读] AED: An Anytime Evolutionary DCOP Algorithm

Saaduddin Mahmud, Moumita Choudhury+3 more|arXiv (Cornell University)|Sep 13, 2019

Constraint Satisfaction and Optimization参考文献 30被引用 9

一句话总结

本文提出AED，一种可用于任意时间的进化DCOP算法，采用基于种群的进化方法求解分布式约束优化问题。通过引入一种乐观的局部收益近似方法和一种新颖的任意时间更新机制，AED在加权图着色问题上优于现有最先进的非精确DCOP算法，解决方案质量最高提升2.4倍。

ABSTRACT

Evolutionary optimization is a generic population-based metaheuristic that can be adapted to solve a wide variety of optimization problems and has proven very effective for combinatorial optimization problems. However, the potential of this metaheuristic has not been utilized in Distributed Constraint Optimization Problems (DCOPs), a well-known class of combinatorial optimization problems prevalent in Multi-Agent Systems. In this paper, we present a novel population-based algorithm, Anytime Evolutionary DCOP (AED), that uses evolutionary optimization to solve DCOPs. In AED, the agents cooperatively construct an initial set of random solutions and gradually improve them through a new mechanism that considers an optimistic approximation of local benefits. Moreover, we present a new anytime update mechanism for AED that identifies the best among a distributed set of candidate solutions and notifies all the agents when a new best is found. In our theoretical analysis, we prove that AED is anytime. Finally, we present empirical results indicating AED outperforms the state-of-the-art DCOP algorithms in terms of solution quality.

研究动机与目标

• 解决在分布式约束优化问题（DCOPs）求解中缺乏进化优化技术的问题，尽管其在集中式组合优化中已取得成功。
• 通过开发一种适用于分布式、协作智能体系统的基于种群的元启发式方法，克服精确DCOP算法的可扩展性限制。
• 引入任意时间特性，确保在执行过程中持续改进并及时提供高质量解决方案。
• 通过改进探索与开发之间的平衡，使解决方案质量超越现有非精确算法（如局部搜索、ACO_DCOP和Max-Sum变体）。

提出的方法

• AED在各智能体之间维护一个候选解的分布式种群，每个智能体负责管理变量和部分赋值。
• 提出一种新型繁殖机制，利用局部收益的乐观近似来指导解的修改，实现探索与开发之间的平衡。
• 任意时间更新机制使智能体能够检测并传播迄今找到的最佳解，确保协调并收敛到更优解。
• 使用可变参数α动态调整探索与开发之间的权衡：α初始值较高（3），随时间递减至1，以优先保证收敛。
• 智能体之间以固定间隔（MI=5）进行迁移，实现信息交换并维持种群多样性。
• 该算法在形式上被证明具有任意时间特性，即在时间推移中持续改进解决方案质量，并可在任意时刻返回有效解。

实验结果

研究问题

• RQ1 能否有效将进化优化技术适配到分布式、协作的多智能体环境中的DCOP求解？
• RQ2 如何将任意时间特性集成到基于种群的DCOP算法中，以确保持续改进并及时提供解决方案？
• RQ3 哪些参数配置（如ER、α、β）能最优地平衡AED中的探索与开发？
• RQ4 在多种问题实例下，AED与现有最先进的非精确DCOP算法相比，解决方案质量如何？

主要发现

• 在加权图着色问题上，AED比表现最佳的非精确DCOP算法ACO_DCOP提升27%的解决方案质量。
• 在稀疏随机DCOP中，AED相比现有算法，解决方案质量提升1.7%至14.9%。
• 在密集随机DCOP中，AED相比最先进竞争对手，解决方案质量提升0.7%至3.0%。
• 在相同运行时间下，AED生成的解决方案质量比DSA、Max-Sum_ADVP和PD-Gibbs高出1.73至2.4倍，表现出更优的解决方案质量。
• 在稀疏问题中，探索与开发的最优平衡出现在β=5；在密集问题中，最优平衡出现在β=2；进一步增加β值反而导致解决方案质量下降。
• 即使种群规模极小（ER=5），AED仍持续优于基准算法，表明其在低内存开销下仍具备强大性能。