[논문 리뷰] Domain Knowledge-Based Automated Analog Circuit Design with Deep Reinforcement Learning

Weidong Cao, Mouhacine Benosman외 2명|arXiv (Cornell University)|2022. 02. 26.

Advancements in Semiconductor Devices and Circuit Design인용 수 6

한 줄 요약

이 논문은 그래프 신경망(GNN)과 완전 연결 신경망(FCNN)을 사용하여 회로 구조와 사양 간 상충 관계를 모델링함으로써 도메인 지식을 통합한 딥 강화학습 프레임워크를 제안한다. 이는 이전의 강화학습 방법보다 1.5배 높은 효율성으로 인간 수준의 정확도(~99%)를 달성하며, GaN 기반 RF 파wr 전자 회로를 포함한 다양한 아날로그 회로와 반도체 기술 간 일반화 성능을 보여준다.

ABSTRACT

The design automation of analog circuits is a longstanding challenge in the integrated circuit field. This paper presents a deep reinforcement learning method to expedite the design of analog circuits at the pre-layout stage, where the goal is to find device parameters to fulfill desired circuit specifications. Our approach is inspired by experienced human designers who rely on domain knowledge of analog circuit design (e.g., circuit topology and couplings between circuit specifications) to tackle the problem. Unlike all prior methods, our method originally incorporates such key domain knowledge into policy learning with a graph-based policy network, thereby best modeling the relations between circuit parameters and design targets. Experimental results on exemplary circuits show it achieves human-level design accuracy (~99%) with 1.5x efficiency of existing best-performing methods. Our method also shows better generalization ability to unseen specifications and optimality in circuit performance optimization. Moreover, it applies to designing diverse analog circuits across different semiconductor technologies, breaking the limitations of prior ad-hoc methods in designing one particular type of analog circuits with conventional semiconductor technology.

연구 동기 및 목표

• 사전 레이아웃 단계에서 비효율적이고 수동적인 아날로그 회로 설계의 장기적인 과제를 해결하기 위해.
• 기존의 최적화 기반 및 학습 기반 방법을 뛰어넘어 설계 정확도와 효율성을 향상시키기 위해.
• CMOS 및 GaN을 포함한 다양한 아날로그 회로와 반도체 기술 간 일반화를 가능하게 하기 위해, 특히 GaN 기반 RF 파wr 전자 회로에 적용 가능하도록 하기 위해.
• 전문가 수준의 도메인 지식—예를 들어 회로 구조와 사양 간 상관관계—를 강화학습 정책 학습에 통합하기 위해.
• 각 회로 유형에 대해 재학습이 필요 없이 자동화되고 고정밀도의 설계를 지원할 수 있는 확장성 있고 이식 가능한 프레임워크를 개발하기 위해.

제안 방법

• 그래프 기반 정책 네트워크는 그래프 컬러리션 네트워크(GCN) 또는 그래프 어텐션 네트워크(GAT)와 완전 연결 신경망(FCNN)을 조합한다.
• GNN은 전체 회로 구조를 인코딩하여 장치 파라미터, 연결 관계, 물리적 상호작용을 포괄한다.
• FCNN는 회로 사양 간 상관관계(예: 전력, 대역폭, 이득)를 모델링하여 설계 상충 관계를 반영한다.
• 강화학습 에이전트는 목표 사양을 충족시키기 위해 반복적으로 장치 파라미터를 조정하는 순차적 의사결정 정책을 학습한다.
• 도메인 지식이 정책 네트워크 아키텍처에 직접 통합되어, 다중 단계의 정밀 조정을 포함한 인간과 유사한 튜닝 행동을 가능하게 한다.
• 다양한 회로 유형과 반도체 기술 간 일반화를 위해 전이 학습을 활용한다. 이는 CMOS 및 GaN을 포함한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트가 아날로그 회로 사전 레이아웃 최적화에서 인간 수준의 설계 정확도를 달성할 수 있는가?
• RQ2 특히 회로 구조와 사양 상충 관계를 통합한 도메인 지식이 설계 효율성과 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 RF 파wr 전자 회로를 포함한 다양한 아날로그 회로 유형과 반도체 기술 간 일반화 성능을 보일 수 있는가?
• RQ4 그래프 기반 정책 네트워크가 이전의 강화학습 및 최적화 기반 방법보다 설계 효율성과 최적성 측면에서 뛰어나게 작용하는가?
• RQ5 설계 실패 시, 강화학습 에이전트가 수동 튜닝을 위해 유용한 힌트를 제공할 수 있는 정도는 어느 정도인가?

주요 결과

• 이 방법은 약 99%의 설계 정확도를 달성하여 인간 수준의 성능을 보이며, 이는 이전의 최적화 기반 및 학습 기반 방법보다 뚜렷이 뛰어나다.
• 최적화 기반 방법 대비 10배, 최고의 이전 강화학습 방법 대비 1.5배 높은 설계 효율성을 확보한다.
• RF 파워 전자 회로를 포함한 새로운 사양과 회로 유형에 대해 뛰어난 일반화 성능을 보이며, GaN 기술 기반 설계에 대해서도 유사한 성능 유지를 한다.
• 실패한 사례조차도 수동 튜닝을 성공적으로 수행할 수 있도록 실질적인 힌트를 제공하여, 인간 입력과 조합 시 100%의 설계 정확도를 확보한다.
• 이전의 접근 방식보다 그래프 기반 정책 네트워크가 물리적 상호작용과 사양 상충 관계를 더 잘 모델링할 수 있다.
• 이 프레임워크는 다양한 반도체 기술과 회로 구조 간 이식 가능하며, 이전의 수시로 조정이 필요한 회로 특화 방법의 한계를 극복한다.