[论文解读] Domain Knowledge-Based Automated Analog Circuit Design with Deep Reinforcement Learning

Weidong Cao, Mouhacine Benosman+2 more|arXiv (Cornell University)|Feb 26, 2022

Advancements in Semiconductor Devices and Circuit Design被引用 6

一句话总结

本文提出了一种集成领域知识的深度强化学习框架，用于自动化预布局模拟电路设计，采用图神经网络（GNN）和全连接网络（FCNN）分别建模电路拓扑结构与规格权衡。该方法在设计准确率上达到人类水平（约99%），相比先前的强化学习方法效率提升1.5倍，并在多种模拟电路和半导体技术（包括基于GaN的射频功率电子电路）中展现出良好的泛化能力。

ABSTRACT

The design automation of analog circuits is a longstanding challenge in the integrated circuit field. This paper presents a deep reinforcement learning method to expedite the design of analog circuits at the pre-layout stage, where the goal is to find device parameters to fulfill desired circuit specifications. Our approach is inspired by experienced human designers who rely on domain knowledge of analog circuit design (e.g., circuit topology and couplings between circuit specifications) to tackle the problem. Unlike all prior methods, our method originally incorporates such key domain knowledge into policy learning with a graph-based policy network, thereby best modeling the relations between circuit parameters and design targets. Experimental results on exemplary circuits show it achieves human-level design accuracy (~99%) with 1.5x efficiency of existing best-performing methods. Our method also shows better generalization ability to unseen specifications and optimality in circuit performance optimization. Moreover, it applies to designing diverse analog circuits across different semiconductor technologies, breaking the limitations of prior ad-hoc methods in designing one particular type of analog circuits with conventional semiconductor technology.

研究动机与目标

• 为解决预布局阶段模拟电路设计长期存在的低效与人工依赖问题。
• 在现有基于优化和学习的方法基础上，进一步提升设计准确率与效率。
• 实现对多样化模拟电路和半导体技术（包括GaN基射频功率电子电路）的泛化能力。
• 将专家级领域知识（如电路拓扑结构与规格耦合关系）直接嵌入强化学习策略学习过程中。
• 开发一种可扩展、可迁移的框架，支持无需为每类电路重新训练即可实现自动化、高精度设计。

提出的方法

• 基于图的策略网络结合图卷积网络（GCN）或图注意力网络（GAT）与全连接神经网络（FCNN）。
• GNN对完整电路拓扑进行编码，捕捉器件参数、连接关系与物理相互作用。
• FCNN用于建模电路规格（如功耗、带宽、增益）之间的耦合关系，反映设计权衡。
• 强化学习智能体学习一种序列决策策略，通过迭代调整器件参数以满足目标规格。
• 将领域知识直接嵌入策略网络架构中，实现类似人类的调参行为，支持多轮精细化调整。
• 利用迁移学习实现对不同电路类型和半导体技术（包括CMOS与GaN）的泛化。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在模拟电路预布局优化中实现人类水平的设计准确率？
• RQ2 集成领域知识（特别是电路拓扑结构与规格权衡）对设计效率与准确率有何影响？
• RQ3 所提方法是否能在多样化模拟电路类型和半导体技术（包括GaN基射频功率电子电路）中实现泛化？
• RQ4 基于图的策略网络是否在设计效率与最优性方面优于先前的强化学习与基于优化的方法？
• RQ5 当设计失败时，强化学习智能体在多大程度上能提供对人工调参有帮助的提示？

主要发现

• 该方法实现了约99%的设计准确率，达到人类水平，显著优于先前基于优化和学习的方法。
• 相比最优的先前强化学习方法，设计效率提升1.5倍；相比基于优化的方法，效率提升10倍。
• 该方法在未见规格与电路类型（包括GaN技术的射频功率电子电路）上展现出优异的泛化能力。
• 即使在设计失败的情况下，智能体仍能提供可操作的提示，使人工调参能够成功完成设计，结合人工输入后实现100%的设计准确率。
• 基于图的策略网络在建模物理相互作用与规格权衡方面优于先前方法。
• 该框架可在不同半导体技术与电路拓扑间实现迁移，突破了以往针对特定电路的临时性、专用方法的局限。