[論文レビュー] GCN-RL Circuit Designer: Transferable Transistor Sizing with Graph Neural Networks and Reinforcement Learning

Hanrui Wang, Kuan Wang+5 more|arXiv (Cornell University)|Apr 30, 2020

VLSI and FPGA Design Techniques参考文献 28被引用数 36

ひとこと要約

グラフ畳み込みネットワーク（GCN）を組み込んだ強化学習フレームワークは、技術ノードや回路トポロジーを超えたトランジスタサイズの移行可能性を学習し、従来の最適化を上回り、ノード横断/トポロジー横断の知識移転を可能にする。

ABSTRACT

Automatic transistor sizing is a challenging problem in circuit design due to the large design space, complex performance trade-offs, and fast technological advancements. Although there has been plenty of work on transistor sizing targeting on one circuit, limited research has been done on transferring the knowledge from one circuit to another to reduce the re-design overhead. In this paper, we present GCN-RL Circuit Designer, leveraging reinforcement learning (RL) to transfer the knowledge between different technology nodes and topologies. Moreover, inspired by the simple fact that circuit is a graph, we learn on the circuit topology representation with graph convolutional neural networks (GCN). The GCN-RL agent extracts features of the topology graph whose vertices are transistors, edges are wires. Our learning-based optimization consistently achieves the highest Figures of Merit (FoM) on four different circuits compared with conventional black-box optimization methods (Bayesian Optimization, Evolutionary Algorithms), random search, and human expert designs. Experiments on transfer learning between five technology nodes and two circuit topologies demonstrate that RL with transfer learning can achieve much higher FoMs than methods without knowledge transfer. Our transferable optimization method makes transistor sizing and design porting more effective and efficient.

研究の動機と目的

• 大規模な設計空間と急速な技術スケーリングに対応する自動トランジスタサイズ設計を促進する。
• 技術ノードと回路トポロジー間でサイズ設計ポリシーの知識移転を可能にする。
• 回路トポロジー情報をRL最適化ループに組み込み、最適化効率を向上させる。
• ベイジアン最適化、進化アルゴリズム、ランダム探索、既存設計を上回る性能向上を実証する。

提案手法

• トランジスタをノード、配線をエッジとするグラフとして回路を表現する。
• グラフ畳み込みネットワーク（GCN）を用いてトポロジ情報をRLエージェントに埋め込む。
• アクタークリティック型RLフレームワーク（DDPG）を適用し、MOSデバイスの連続的なサイズ指示（W, L, M）と部品値（R, C）を生成する。
• デバイス制約を満たすようにアクションをデノormalize/洗練させ、回路をシミュレートしてFoMを取得する。
• 転移学習を用いてポリシーを訓練し、技術ノードとトポロジー間の知識移転を可能にする。
• 4つの実世界回路に対して、GCN-RLをベースライン（Random、ES、BO、MACE、NG-RL）および人間設計と比較する。

実験結果

リサーチクエスチョン

• RQ1 GCN-RLは固定トポロジー回路で従来のブラックボックス最適化手法より高いFoMを達成できるか。
• RQ2 GCNによるトポロジーの組み込みは最適化性能と収束速度を改善するか。
• RQ3 RLエージェントは異なる技術ノード間で学習済みのサイズ設計ポリシーを移転できるか。
• RQ4 設計原理を共有する異なる回路トポロジー間でRLエージェントは知識を移転できるか。
• RQ5 新旧のノードや異なるトポロジーへ設計を移植する際、転移学習はFoMにどのような影響を与えるか。

主な発見

回路	人間	ランダム	ES	BO	MACE	NG-RL	GCN-RL
Two-TIA	2.32	2.46 ±0.02	2.66 ±0.03	2.48 ±0.03	2.54 ±0.01	2.59 ±0.06	2.69 ±0.03
Two-Volt	2.32	1.74 ±0.06	1.91 ±0.02	1.85 ±0.19	1.70 ±0.08	1.98 ±0.12	2.23 ±0.11
Three-TIA	1.15	0.74 ±0.03	1.30 ±0.03	1.24 ±0.14	1.27 ±0.04	1.39 ±0.01	1.40 ±0.01
LDO	0.61	0.27 ±0.03	0.40 ±0.07	0.45 ±0.05	0.58 ±0.04	0.71 ±0.05	0.79 ±0.02

• GCN-RLは、人間設計、ランダム探索、NG-RL、ES、BO、MACEを上回り、4つの実世界回路ベースラインで一貫して最高のFoMを達成する。
• GCN-RLはGCNによる効果的なトポロジーベースの埋め込みによりNG-RLに比べ収束を加速する。
• 知識移転は追加訓練を限定的に行ってもFoMを大幅に向上させる。
• トポロジー間の知識移転（GCN-RL）は、GCNを用いない移転（NG-RL）より優れている。
• 180 nmで学習したポリシーを250 nm、130 nm、65 nm、45 nmノードへ移植する際、Two-TIAとThree-TIAトポロジー間で実際的な改善が示された。