[논문 리뷰] GCN-RL Circuit Designer: Transferable Transistor Sizing with Graph Neural Networks and Reinforcement Learning

Hanrui Wang, Kuan Wang외 5명|arXiv (Cornell University)|2020. 04. 30.

VLSI and FPGA Design Techniques참고 문헌 28인용 수 36

한 줄 요약

강화 학습 프레임워크가 그래프 컨볼루션 네트워크(GCN)로 보강되어 기술 노드와 회로 토폴로지 간에 전이 가능한 트랜지스터 사이징을 학습하며, 전통적 최적화를 능가하고 노드 간/토폴로지 간 지식 이전을 가능하게 한다.

ABSTRACT

Automatic transistor sizing is a challenging problem in circuit design due to the large design space, complex performance trade-offs, and fast technological advancements. Although there has been plenty of work on transistor sizing targeting on one circuit, limited research has been done on transferring the knowledge from one circuit to another to reduce the re-design overhead. In this paper, we present GCN-RL Circuit Designer, leveraging reinforcement learning (RL) to transfer the knowledge between different technology nodes and topologies. Moreover, inspired by the simple fact that circuit is a graph, we learn on the circuit topology representation with graph convolutional neural networks (GCN). The GCN-RL agent extracts features of the topology graph whose vertices are transistors, edges are wires. Our learning-based optimization consistently achieves the highest Figures of Merit (FoM) on four different circuits compared with conventional black-box optimization methods (Bayesian Optimization, Evolutionary Algorithms), random search, and human expert designs. Experiments on transfer learning between five technology nodes and two circuit topologies demonstrate that RL with transfer learning can achieve much higher FoMs than methods without knowledge transfer. Our transferable optimization method makes transistor sizing and design porting more effective and efficient.

연구 동기 및 목표

• 자동 트랜지스터 사이징을 동원하여 큰 설계 공간과 빠른 기술 확장을 다루려는 모티베이션.
• 기술 노드와 회로 토폴로지 간 사이징 정책의 지식 이전 가능성.
• RL 최적화 루프에 회로 토폴로지 정보를 포함시켜 최적화 효율성 향상.
• 베이지안 최적화, 진화 알고리즘, 무작위 탐색 및 인간 설계에 비해 성능 향상 시연.

제안 방법

• 회로를 트랜지스터를 노드로, 와이어를 엣지로 하는 그래프로 표현한다.
• GCN을 사용해 토폴로지 정보를 RL 에이전트에 임베딩한다.
• 행위자-비판자 RL 프레임워크(DDPG)를 적용해 MOS 소자 및 부품 값(R, C)에 대한 연속 트랜지스터 사이징 액션(W, L, M)을 생성한다.
• 장치 제약 조건을 만족하도록 액션의 역정규화/정제를 수행하고 회로를 시뮬레이션해 성능 지표(FoM)를 얻는다.
• 전이 학습으로 정책을 학습해 기술 노드와 토폴로지 간 지식 이전을 가능하게 한다.
• GCN-RL을 기준선(Random, ES, BO, MACE, NG-RL) 및 인간 설계와 네 가지 실세계 회로에서 비교한다.

실험 결과

연구 질문

• RQ1 GCN-RL이 고정 토폴로지 회로에서 전통적인 블랙박스 최적화 기법보다 더 높은 FoM를 달성할 수 있는가?
• RQ2 토폴로지를 GCN으로 통합하면 최적화 성능과 수렴 속도가 개선되는가?
• RQ3 RL 에이전트가 다른 기술 노드 간 학습된 사이징 정책을 이전할 수 있는가?
• RQ4 RL 에이전트가 설계 원리를 공유하는 서로 다른 회로 토폴로지 간 지식을 이전할 수 있는가?
• RQ5 전이 학습이 새로운 노드나 더 오래된 노드로 포팅될 때 FoM에 어떤 영향을 미치는가?

주요 결과

• GCN-RL은 인간 설계, 무작위 탐색, NG-RL, ES, BO, MACE에 비해 네 가지 실세계 회로 기반선에서 일관되게 가장 높은 FoM를 달성했다.
• GCN이 제공하는 토폴로지 임베딩의 효과로 NG-RL 대비 수렴 속도가 빨랐다.
• 다른 기술 노드로의 지식 이전이 추가 학습 없이도 FoM을 크게 개선했다.
• 그래프 기반 표현(GCN-RL)이 필요한 토폴로지 간 지식 이전은 GCN이 없는 이전(NG-RL)보다 우수했다.
• 180 nm에서 학습된 정책을 250 nm, 130 nm, 65 nm, 45 nm 노드 및 Two-TIA에서 Three-TIA 토폴로지로 포팅하는 전이 실험에서 유의미한 향상을 보였다.