[논문 리뷰] Learning to Design Circuits

Hanrui Wang, Jiacheng Yang외 2명|arXiv (Cornell University)|2018. 12. 05.

Advancements in Semiconductor Devices and Circuit Design참고 문헌 11인용 수 31

한 줄 요약

이 논문은 사전 지식이나 대규모 데이터셋이 없이도 애널로그 IC 파ameter를 자동으로 최적화할 수 있는 강화학습 프레임워크인 L2DC(Learning to Design Circuits)를 제안한다. 반복적으로 소자 파ameter를 샘플링하고 회로 성능을 시뮬레이션하며 사양에 도달하는 데의 진전을 보상함으로써, L2DC는 격자 탐색 기반 인간 설계 대비 250배 높은 샘플 효율성을 달성했으며, 동일한 런타임 제약 조건 하에서 베이지안 최적화를 능가한다.

ABSTRACT

Analog IC design relies on human experts to search for parameters that satisfy circuit specifications with their experience and intuitions, which is highly labor intensive, time consuming and suboptimal. Machine learning is a promising tool to automate this process. However, supervised learning is difficult for this task due to the low availability of training data: 1) Circuit simulation is slow, thus generating large-scale dataset is time-consuming; 2) Most circuit designs are propitiatory IPs within individual IC companies, making it expensive to collect large-scale datasets. We propose Learning to Design Circuits (L2DC) to leverage reinforcement learning that learns to efficiently generate new circuits data and to optimize circuits. We fix the schematic, and optimize the parameters of the transistors automatically by training an RL agent with no prior knowledge about optimizing circuits. After iteratively getting observations, generating a new set of transistor parameters, getting a reward, and adjusting the model, L2DC is able to optimize circuits. We evaluate L2DC on two transimpedance amplifiers. Trained for a day, our RL agent can achieve comparable or better performance than human experts trained for a quarter. It first learns to meet hard-constraints (eg. gain, bandwidth), and then learns to optimize good-to-have targets (eg. area, power). Compared with grid search-aided human design, L2DC can achieve $\mathbf{250}\boldsymbol{ imes}$ higher sample efficiency with comparable performance. Under the same runtime constraint, the performance of L2DC is also better than Bayesian Optimization.

연구 동기 및 목표

• 애널로그 IC 설계에서 전문가 직관과 수동적 파ameter 튜닝에 의존하는 데 따른 높은 시간 및 노동력 비용 문제를 해결하기 위해.
• 느린 회로 시뮬레이션과 기밀 지적 재산권 제약으로 인해 레이블이 붙은 학습 데이터가 부족한 문제를 해결하기 위해.
• 사전 도메인 규칙이 없이도 강화학습을 통해 최적의 회로 파ameter를 학습하는 자동화되고 데이터 효율적인 방법을 개발하기 위해.
• 기존의 격자 탐색, 랜덤 탐색, 베이지안 최적화와 비교해 샘플 효율성과 성능을 향상시키기 위해.
• 이중 단계 및 삼중 단계 전임피던스 증폭기와 같은 다양한 회로 유형에 걸쳐 일반화 능력을 입증하기 위해.

제안 방법

• L2DC는 Hspice/Spectre와 같은 회로 시뮬레이션 환경과 상호작용하는 강화학습 에이전트를 사용하여 새로운 소자 파am터 조합을 생성한다.
• 에이전트는 시뮬레이션 출력에서 유도된 DC 정적 점, AC 크기/위상 응답, 소자 동작 모드를 포함한 회로 상태를 관찰한다.
• 정규화된 성능 지표(예: 이득, 대역폭, 전력, 면적)를 기반으로 조밀한 보상 함수를 정의하며, 하드 제약 조건은 비율 기반 만족도 점수를 통해 강제로 구현한다.
• 액터-크리틱 프레임워크는 순서에서 순서로 모델을 사용하여 고차원 설계 공간에서의 구조적 탐색을 가능하게 한다.
• DDPG 알고리즘을 강화학습의 핵심으로 사용하여 경험 재생과 타겟 네트워크를 활용해 연속적인 행동 공간 최적화를 수행한다.
• 학습 과정은 시뮬레이션, 보상 계산, 정책 업데이트를 번갈아 수행함으로써 에이전트가 계층적 최적화 전략을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 붙은 데이터셋에 의존하지 않고도 강화학습이 애널로그 IC 설계 최적화에 효과적으로 적용될 수 있는가?
• RQ2 다목적 최적화 환경에서 하드 제약 조건(예: 이득, 대역폭)을 소프트 지표(예: 전력, 면적)보다 먼저 우선시하는 방식으로 에이전트가 학습할 수 있는가?
• RQ3 동일한 런타임 제약 조건 하에서 강화학습 기반 설계의 샘플 효율성은 인간이 가이드하는 격자 탐색 및 베이지안 최적화와 비교해 어떻게 되는가?
• RQ4 강화학습 에이전트는 이중 단계 및 삼중 단계 전임피던스 증폭기와 같은 다양한 애널로그 회로 아키텍처에 일반화할 수 있는가?
• RQ5 강화학습 에이전트는 하드 제약 조건을 먼저 개선한 후 보조 목표를 정교화하는 전략적 행동을 개발하는가?

주요 결과

• L2DC는 인간 전문가가 설계한 이중 단계 전임피던스 증폭기의 대역폭 성능 97.143%를 달성했으며, 인간 전문가가 사용한 129만 번의 시뮬레이션 대비 단 5만 번의 시뮬레이션만을 사용했다.
• 강화학습 에이전트는 격자 탐색 기반 인간 설계 대비 250배 높은 샘플 효율성을 보였으며, 훨씬 적은 수의 시뮬레이션으로 유사하거나 더 나은 성능을 달성했다.
• 동일한 30시간 런타임 제약 조건 하에서, L2DC(DDPG 사용)는 모든 하드 제약 조건(노이즈, 이득, 피크, 전력)을 충족하고 5.78 GHz의 대역폭을 달성했지만, 랜덤 탐색과 베이지안 최적화는 노이즈 제약 조건을 충족하지 못했다.
• 학습 곡선은 에이전트가 하드 제약 조건을 충족시키기 위해 먼저 전력과 대역폭을 증가시킨 후 성능을 유지하면서 전력과 면적을 줄이는 전략적 최적화 행동을 보이고 있음을 보여준다.
• 삼중 단계 전임피던스 증폭기에서는 에이전트가 모든 하드 제약 조건을 성공적으로 충족시키고 높은 성능을 달성했으며, 이는 회로 복잡도에 걸쳐 일반화 능력을 입증한다.
• 동일한 런타임 조건 하에서 L2DC는 베이지안 최적화보다 제약 조건 충족도와 최종 성능 모두에서 뛰어난 성능을 보여, 효율성 우월성을 입증했다.