[论文解读] GCN-RL Circuit Designer: Transferable Transistor Sizing with Graph Neural Networks and Reinforcement Learning

Hanrui Wang, Kuan Wang+5 more|arXiv (Cornell University)|Apr 30, 2020

VLSI and FPGA Design Techniques参考文献 28被引用 36

一句话总结

一个结合图卷积网络（GCN）的强化学习框架，在技术节点和电路拓扑之间学习可迁移的晶体管尺寸优化，优于传统优化并实现跨节点/拓扑的知识迁移。

ABSTRACT

Automatic transistor sizing is a challenging problem in circuit design due to the large design space, complex performance trade-offs, and fast technological advancements. Although there has been plenty of work on transistor sizing targeting on one circuit, limited research has been done on transferring the knowledge from one circuit to another to reduce the re-design overhead. In this paper, we present GCN-RL Circuit Designer, leveraging reinforcement learning (RL) to transfer the knowledge between different technology nodes and topologies. Moreover, inspired by the simple fact that circuit is a graph, we learn on the circuit topology representation with graph convolutional neural networks (GCN). The GCN-RL agent extracts features of the topology graph whose vertices are transistors, edges are wires. Our learning-based optimization consistently achieves the highest Figures of Merit (FoM) on four different circuits compared with conventional black-box optimization methods (Bayesian Optimization, Evolutionary Algorithms), random search, and human expert designs. Experiments on transfer learning between five technology nodes and two circuit topologies demonstrate that RL with transfer learning can achieve much higher FoMs than methods without knowledge transfer. Our transferable optimization method makes transistor sizing and design porting more effective and efficient.

研究动机与目标

• 激励自动晶体管尺寸优化以应对庞大设计空间和快速技术演进。
• 实现 sizing 策略在技术节点和电路拓扑之间的知识迁移。
• 在 RL 优化循环中嵌入电路拓扑信息以提高优化效率。
• 展示相对于贝叶斯优化、进化算法、随机搜索和人工设计的性能提升。

提出的方法

• 将电路表示为图，晶体管为节点，导线为边。
• 使用图卷积网络（GCN）将拓扑信息嵌入到 RL 智能体中。
• 应用 actor-critic RL 框架（DDPG）为 MOS 设备的晶体管尺寸（W、L、M）及元件值（R、C）生成连续动作。
• 将动作去归一化/细化以满足器件约束并对电路进行仿真以获得性能指标（FoM）。
• 结合迁移学习对策略进行训练，使其能够跨技术节点和拓扑实现知识迁移。
• 将 GCN-RL 与基线方法（Random、ES、BO、MACE、NG-RL）以及人类设计在四个真实电路上的表现进行比较。

实验结果

研究问题

• RQ1 GCN-RL 在固定拓扑电路上是否能获得比传统黑箱优化器更高的 FoM？
• RQ2 通过 GCN 融入拓扑信息是否能改善优化性能和收敛速度？
• RQ3 RL 智能体能否跨不同技术节点迁移学习到的尺寸策略？
• RQ4 RL 智能体是否能在共享设计原则的不同电路拓扑之间迁移知识？
• RQ5 迁移学习在将设计移植到更新或更旧的节点及不同拓扑时，对 FoM 的影响如何？

主要发现

• GCN-RL 在四个真实电路基线中始终实现最高的 FoM，相较于人类设计、随机搜索、NG-RL、ES、BO 和 MACE。
• GCN-RL 相较于 NG-RL 因为其有效的拓扑嵌入而加速了收敛。
• 对其他技术节点的知识迁移在有限额外训练下显著提升 FoM。
• 在需要基于图表示（GCN-RL）的拓扑之间的知识迁移中，使用 GCN 的迁移优于不使用 GCN 的迁移（NG-RL）。
• 迁移实验表明将 180 nm 学到的策略迁移到 250 nm、130 nm、65 nm、45 nm 节点，以及在 Two-TIA 和 Three-TIA 拓扑之间，均可实现可观的改进。