[论文解读] A Deep Reinforcement Learning Approach for Global Routing

Haiguang Liao, Wentai Zhang+4 more|arXiv (Cornell University)|Jun 20, 2019

VLSI and FPGA Design Techniques参考文献 31被引用 9

一句话总结

本文提出一种基于深度强化学习（DRL）的方法，采用深度Q网络（DQN）求解集成电路设计中的全局布线问题，实现对多个网络的联合优化。该方法在80%的测试案例中优于顺序A*布线，实现零拥塞且线长更优，并提出一种参数化的问题生成器，支持可扩展的训练与评估。

ABSTRACT

Global routing has been a historically challenging problem in electronic circuit design, where the challenge is to connect a large and arbitrary number of circuit components with wires without violating the design rules for the printed circuit boards or integrated circuits. Similar routing problems also exist in the design of complex hydraulic systems, pipe systems and logistic networks. Existing solutions typically consist of greedy algorithms and hard-coded heuristics. As such, existing approaches suffer from a lack of model flexibility and non-optimum solutions. As an alternative approach, this work presents a deep reinforcement learning method for solving the global routing problem in a simulated environment. At the heart of the proposed method is deep reinforcement learning that enables an agent to produce an optimal policy for routing based on the variety of problems it is presented with leveraging the conjoint optimization mechanism of deep reinforcement learning. Conjoint optimization mechanism is explained and demonstrated in details; the best network structure and the parameters of the learned model are explored. Based on the fine-tuned model, routing solutions and rewards are presented and analyzed. The results indicate that the approach can outperform the benchmark method of a sequential A* method, suggesting a promising potential for deep reinforcement learning for global routing and other routing or path planning problems in general. Another major contribution of this work is the development of a global routing problem sets generator with the ability to generate parameterized global routing problem sets with different size and constraints, enabling evaluation of different routing algorithms and the generation of training datasets for future data-driven routing approaches.

研究动机与目标

• 为解决集成电路设计中长期存在的全局布线挑战，该问题为NP完全问题，传统上采用启发式、贪心方法求解，但缺乏灵活性与最优性。
• 探究深度强化学习是否能够实现多个网络的联合优化，避免顺序布线的局限性并提升解的质量。
• 开发一种可扩展的参数化全局布线问题生成器，以支持数据驱动布线算法的训练、评估与基准测试。
• 对DQN超参数与网络结构进行微调，以在全局布线任务中实现最佳性能。
• 证明在相同约束条件下，DRL可生成优于传统A*布线的布线解决方案。

提出的方法

• 将全局布线建模为马尔可夫决策过程（MDP），其中离散状态表示布线网格配置，动作表示布线放置决策。
• 采用深度Q网络（DQN）学习最优策略，基于当前状态选择布线动作，并结合成功与失败布线尝试的奖励。
• 采用联合优化机制，使智能体同时考虑所有网络与引脚，而非顺序逐个布线。
• 应用经验回放与目标网络以稳定训练过程，并减少Q值函数学习中的过估计。
• 通过A*生成的布线数据实施记忆预热（memory burn-in），以改善初始策略学习并加速收敛。
• 开发全局布线问题生成器，可生成具有可定制网格尺寸、网络数量与拥塞约束的参数化问题集，用于训练与评估。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能够通过联合优化多个网络，比顺序A*布线更有效地完成全局布线？
• RQ2 DQN中的联合优化机制相较于逐个网络的顺序布线，如何提升布线性能？
• RQ3 哪些超参数（如学习率、epsilon、批量大小）与网络结构在DRL驱动的布线框架中表现最佳？
• RQ4 单一微调后的DQN模型是否能在不重新训练的情况下泛化至更大规模的布线问题？
• RQ5 使用A*生成的经验数据进行记忆预热在多大程度上提升了DQN的训练速度与解的质量？

主要发现

• 在80%的测试Type II问题中，基于DQN的路由器优于A*路由器，表明在真实布线场景中具有更优的解质量。
• 所有DQN解均实现零边拥塞（OF），而A*解偶尔出现正向OF，表明约束满足性更优。
• 在多数情况下，DQN模型的总线长（WL）优于A*，尤其在高拥塞场景中表现出显著改进。
• 该模型在未重新训练的情况下有效泛化至更大的$16\times16\times2$网格，且在不同规模下保持高性能。
• 使用A*生成数据进行记忆预热提升了性能，优于随机预热，尽管未显著加速学习过程。
• 所提出的生成器可快速、可扩展地创建多样化布线问题集，支持未来数据驱动布线研究与基准测试。