[논문 리뷰] Automated Atomic Silicon Quantum Dot Circuit Design via Deep Reinforcement Learning

Robert Lupoiu, Samuel Sze Hang Ng외 2명|arXiv (Cornell University)|2022. 04. 13.

Semiconductor materials and devices인용 수 15

한 줄 요약

이 논문은 원자적 실리콘 도너 결합(quantum dot) 회로를 위한 최초의 딥 강화학습 기반 자동 설계 도구를 제시한다. 탭룰라스(double-deep Q-learning) 알고리즘을 사용하여 복잡한 초차원 설계 공간을 탐색한다. 다양한 논리 회로에 대해 강건한 정책 수렴을 달성하였으며, 이는 이전 작업 대비 SiDB 수를 10배 줄이고 설계 시간을 수 개 차수만큼 빠르게 한 바탕을 보여준다.

ABSTRACT

Robust automated design tools are crucial for the proliferation of any computing technology. We introduce the first automated design tool for the silicon dangling bond quantum dot computing technology, which is an extremely versatile and flexible single-atom computing circuitry framework. The automated designer is capable of navigating the complex, hyperdimensional design spaces of arbitrarily sized design areas and truth tables by employing a tabula rasa double-deep Q-learning reinforcement learning algorithm. Robust policy convergence is demonstrated for a wide range of two-input, one-output logic circuits and a two-input, two-output half-adder, designed with an order of magnitude fewer SiDBs in several orders of magnitude less time than the only other half-adder demonstrated in the literature. We anticipate that reinforcement learning-based automated design tools will accelerate the development of the SiDB quantum dot computing technology, leading to its eventual adoption in specialized computing hardware.

연구 동기 및 목표

• 실리콘 도너 결합(SiDB) 양자점 회로에 대한 자동 설계 도구의 부족을 해결하기 위해, 이는 매우 유연하지만 수동으로 설계하기 어려운 분야이다.
• 수동적 시도 오차 접근 방식의 한계를 넘어, 복잡한 논리 회로의 빠르고 스케일러블하며 강건한 설계를 가능하게 하기 위함이다.
• SiDB 레이아웃 설계의 이산적이고 미분 불가능하며 희소한 최적화 공간을 탐색할 수 있는 강화학습 프레임워크를 개발하기 위함이다.
• 다양한 진리표 및 회로 규모, 다중 입력·다중 출력 논리까지 포함된 다양한 설계에서 최적의 설계 정책으로의 수렴을 입증하기 위함이다.
• 효율적이고 자동화된 회로 프로토타이핑을 가능하게 하여 SiDB 기반 컴퓨팅 하드웨어의 개발과 보급을 가속화하기 위함이다.

제안 방법

• 이중 딥 Q-학습 강화학습 에이전트는 2차원 격자 캔버스에 해당하는 설계 영역에 SiDB를 배치하도록 훈련된다.
• 에이전트는 조밀한, 희소한, 종료 상태의 보상을 수신한다: 각 진리표 행에 대해 -0.4의 손실, 효율성 향상을 위해 각 단계에 대해 -0.75, 유효한 기능성 레이아웃을 발견했을 때 +1.0의 보상.
• 상태 공간은 현재 SiDB 배치 구성 정보를 인코딩하며, 행동 공간은 다음 SiDB 배치 위치를 선택한다.
• 신경망 정책는 경험 재생과 타겟 네트워크 업데이트를 통해 고차원 이산 행동 공간에서 학습을 안정화시키기 위해 훈련된다.
• 알고리즘은 다양한 이중 입력, 단일 출력 논리 게이트와 이중 입력, 이중 출력 반가산기(half-adder)에 대해 훈련되었으며, 작업 간 초모수 조정 없이 수행되었다.
• 수렴은 다수의 랜덤 시드를 통한 평균 보상 정체 및 정책 유사도 평가를 통해 평가되었으며, 이는 강건한 정책 학습을 나타낸다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 인간이 사전에 설계한 규칙 없이도 임의의 진리표에 대해 유효한 SiDB 회로 레이아웃을 자율적으로 발견할 수 있는가?
• RQ2 동일한 RL 정책이 단순한 이중 입력 게이트에서부터 전체 반가산기까지 다양한 논리 복잡도에 일반화될 수 있는가?
• RQ3 랜덤 초기화에 관계없이 일관되고 최적의 설계 전략으로 수렴하는가? 이는 정책의 강건성을 시사한다.
• RQ4 자동 설계자가 수동 방법에 비해 더 컴act하고 더 빠른 설계를 생성할 수 있는가?
• RQ5 이 프레임워크는 SiDB 회로 설계의 이산적이고, 비미분 가능하며, 희소한 피드백 특성을 다룰 수 있는가?

주요 결과

• 강화학습 에이전트는 테스트된 모든 이중 입력, 단일 출력 논리 게이트에 대해 최적의 설계 정책으로 수렴했으며, 평균 보상 정체를 통해 안정적인 정책 학습이 이루어졌음을 확인했다.
• 다섯 개의 다른 랜덤 시드를 통해 강건한 수렴이 이루어졌으며, 모든 에이전트가 입력 선에 대해 중심 축을 중심으로 대칭적으로 SiDB를 배치하는 방식으로 학습했으며, 이는 기존 수동 설계 패턴과 일치했다.
• 이중 입력, 이중 출력 반가산기의 경우, 문헌에 유일하게 보고된 반가산기 대비 수 개 차수만큼 더 적은 SiDB를 사용하여 기능성 레이아웃을 생성했다.
• 수동 설계 대비 설계 시간이 수 개 차수만큼 단축되어 높은 효율성 향상을 입증했다.
• 유효한 레이아웃을 발견한 후에도 새로운 유효한 레이아웃을 계속 탐색하는 것을 발견하여, 지속적인 탐색과 설계 다양성의 잠재력을 보여주었다.
• 프레임워크는 일반화 가능하다: 동일한 신경망과 초모수를 사용하여 모든 회로 유형에 대해 재학습 없이 적용되었으며, 강력한 전이 가능성(transferability)을 보였다.