[论文解读] Experiment Study of Entropy Convergence of Ant Colony Optimization

Chao-Yang Pang, Chong-Bao Wang+1 more|ArXiv.org|May 12, 2009

Metaheuristic Optimization Algorithms Research参考文献 13被引用 8

一句话总结

本文提出将熵收敛作为蚁群优化（ACO）的一种新型、数据驱动的终止准则，证明了在算法收敛之前或同时，解分布的熵会趋于稳定。通过监测迭代间熵的相对变化，ACO-Entropy算法在保持解质量的前提下，相比标准ACO实现了2–6倍的加速收敛，为非受限条件下ACO提供了一种实用且通用的收敛标记。

ABSTRACT

Ant colony optimization (ACO) has been applied to the field of combinatorial optimization widely. But the study of convergence theory of ACO is rare under general condition. In this paper, the authors try to find the evidence to prove that entropy is related to the convergence of ACO, especially to the estimation of the minimum iteration number of convergence. Entropy is a new view point possibly to studying the ACO convergence under general condition. Key Words: Ant Colony Optimization, Convergence of ACO, Entropy

研究动机与目标

• 识别一种适用于典型条件下的通用、非受限的ACO收敛标记。
• 探讨熵——一种解分布不确定性的统计度量——是否可作为ACO收敛的指示器。
• 开发并验证一种基于熵的ACO新变体ACO-Entropy，采用基于熵的终止条件而非固定迭代次数。
• 提供实证证据，表明熵收敛与算法收敛及解稳定性存在相关性。

提出的方法

• 将每次迭代中解分布的熵定义为 H_t = -Σ p_i(t) log₂ p_i(t)，其中 p_i(t) 表示在第 t 次迭代中选择路径 i 的概率。
• 使用熵的相对变化 |H_t - H_{t-1}| / H_{t-1} 作为收敛准则，设定阈值 ε = 0.001。
• 将ACO-Entropy实现为一种修改后的ACO算法，当熵的变化低于 ε 时终止循环。
• 将该算法应用于TSPLIB中的标准TSP实例，并以标准ACO（蚁群循环）作为基线进行比较。
• 跟踪解质量、运行时间和迭代次数，以评估性能提升。
• 使用统计分析验证熵收敛与算法收敛及解稳定性的相关性。

实验结果

研究问题

• RQ1 在非受限条件下，熵收敛能否作为ACO的可靠、通用收敛标记？
• RQ2 迭代间熵的相对变化是否与ACO算法的收敛行为相关？
• RQ3 基于熵的终止准则能否减少ACO达到稳定解所需的迭代次数？
• RQ4 ACO-Entropy与标准ACO相比，在解质量和计算效率方面表现如何？

主要发现

• ACO-Entropy在所有测试的TSP实例中均实现了比标准ACO快2–6倍的收敛速度，且解质量相同或更优。
• ACO-Entropy的平均解成本与标准ACO相差不超过1%，表明解质量未下降。
• 例如，ACO-Entropy在163.08秒内完成pr107（189次迭代），而标准ACO则耗时431.50秒（500次迭代）。
• 熵收敛准则成功检测到解分布的稳定，当 |H_t - H_{t-1}| / H_{t-1} < 0.001 时标志着有意义搜索的结束。
• 该方法在多种TSP问题（包括pr107、pr136、d198、pr226和d493）中表现出稳健性，性能提升一致。
• 发现熵收敛是ACO收敛的必要条件，表明其可作为算法稳定性的基本统计指标。