[论文解读] Attention Routing: track-assignment detailed routing using attention-based reinforcement learning

Haiguang Liao, Qingyi Dong+6 more|arXiv (Cornell University)|Apr 20, 2020

VLSI and FPGA Design Techniques参考文献 37被引用 9

一句话总结

本文提出 Attention Router，这是首个基于强化学习的先进集成电路设计中详细布线的路径分配方法，采用基于注意力模型的 REINFORCE 算法，对器件对进行序列化布线，同时编码复杂的布线规则。该方法在仅损失少量布线质量的前提下，实现了相较遗传算法布线器超过 100 倍的加速，并展现出对可布线性和拥塞程度的泛化与预测能力。

ABSTRACT

In the physical design of integrated circuits, global and detailed routing are critical stages involving the determination of the interconnected paths of each net on a circuit while satisfying the design constraints. Existing actual routers as well as routability predictors either have to resort to expensive approaches that lead to high computational times, or use heuristics that do not generalize well. Even though new, learning-based routing methods have been proposed to address this need, requirements on labelled data and difficulties in addressing complex design rule constraints have limited their adoption in advanced technology node physical design problems. In this work, we propose a new router: attention router, which is the first attempt to solve the track-assignment detailed routing problem using reinforcement learning. Complex design rule constraints are encoded into the routing algorithm and an attention-model-based REINFORCE algorithm is applied to solve the most critical step in routing: sequencing device pairs to be routed. The attention router and its baseline genetic router are applied to solve different commercial advanced technologies analog circuits problem sets. The attention router demonstrates generalization ability to unseen problems and is also able to achieve more than 100 times acceleration over the genetic router without significantly compromising the routing solution quality. We also discover a similarity between the attention router and the baseline genetic router in terms of positive correlations in cost and routing patterns, which demonstrate the attention router's ability to be utilized not only as a detailed router but also as a predictor for routability and congestion.

研究动机与目标

• 为先进集成电路设计（如 <16 nm FinFET 技术）中快速、可泛化且约束感知的详细布线提供解决方案。
• 克服基于启发式规则的布线器和监督学习方法的局限性，后者需要标注数据，且在未见问题上难以泛化。
• 开发一种强化学习框架，将复杂的布线规则约束直接编码到布线过程中。
• 在解决方案质量、运行速度和泛化能力方面，将 Attention Router 的性能与遗传算法布线器基线进行对比评估。
• 探索 Attention Router 在上游布局阶段作为可布线性和拥塞度预测器的潜力。

提出的方法

• Attention Router 使用基于 Transformer 风格注意力机制的策略梯度方法，学习在详细布线中对器件对进行最优布线序列。
• 将布线规则直接编码到布线状态表示中，确保符合复杂约束，如宽度-间距模式（WSP）和多重图案化规则。
• 采用带优势函数估计的 REINFORCE 算法训练策略网络，以优化总线长和拥塞成本。
• 模型在合成问题集（如 Small5000）上进行训练，并在未见过的测试集（如 Large500）上进行评估，包括商用模拟电路。
• 使用遗传算法布线器作为解决方案质量与运行时间对比的强基线。
• 分析 Attention Router 与遗传算法布线器解决方案之间的正相关性，以支持其在下游作为可布线性和拥塞预测器的使用。

实验结果

研究问题

• RQ1 基于强化学习的方法能否在先进制程节点中，以高效率、高质量的方式实现布线，同时满足复杂的布线规则约束？
• RQ2 在有限样本集上训练后，Attention Router 是否能泛化到未见过的问题实例？
• RQ3 Attention Router 的性能如何随训练数据规模的增加而变化？
• RQ4 Attention Router 的解决方案模式与遗传算法布线器的方案模式在多大程度上相关，从而使其可作为可布线性或拥塞度预测器？
• RQ5 Attention Router 的样本效率如何？其性能随问题规模的增加如何变化？

主要发现

• Attention Router 相较于遗传算法布线器实现了超过 100 倍的加速，同时解决方案质量仅比基线低几个百分点。
• 将训练问题数量从 Small500 增加到 Small5000，显著提升了 Attention Router 在训练集和测试集上的性能。
• 在总成本（线长）方面，Attention Router 与遗传算法布线器之间观察到强烈的正相关性，表明两者具有相似的解决方案质量模式。
• Attention Router 生成的布线模式与遗传算法布线器高度相似，尤其是在拥塞区域和未连接实例的位置，表明其在细粒度拥塞预测方面具有实用价值。
• 在充分训练后，Attention Router 能够很好地泛化到同一问题分布下的未见问题，展现出良好的鲁棒性和迁移能力。
• 该模型在无需其他布线器标注数据的情况下，展现出作为布局阶段可布线性和拥塞度预测器的潜力。