[论文解读] Automated Atomic Silicon Quantum Dot Circuit Design via Deep Reinforcement Learning

Robert Lupoiu, Samuel Sze Hang Ng+2 more|arXiv (Cornell University)|Apr 13, 2022

Semiconductor materials and devices被引用 15

一句话总结

本论文提出首个基于深度强化学习的原子硅量子点电路自动设计工具，采用从零开始的双深度Q学习算法，以在复杂、高维的设计空间中进行导航。该方法在多种逻辑电路中实现了稳健的策略收敛，包括半加法器，其硅悬挂键（SiDB）数量减少10倍，设计时间比以往工作快几个数量级。

ABSTRACT

Robust automated design tools are crucial for the proliferation of any computing technology. We introduce the first automated design tool for the silicon dangling bond quantum dot computing technology, which is an extremely versatile and flexible single-atom computing circuitry framework. The automated designer is capable of navigating the complex, hyperdimensional design spaces of arbitrarily sized design areas and truth tables by employing a tabula rasa double-deep Q-learning reinforcement learning algorithm. Robust policy convergence is demonstrated for a wide range of two-input, one-output logic circuits and a two-input, two-output half-adder, designed with an order of magnitude fewer SiDBs in several orders of magnitude less time than the only other half-adder demonstrated in the literature. We anticipate that reinforcement learning-based automated design tools will accelerate the development of the SiDB quantum dot computing technology, leading to its eventual adoption in specialized computing hardware.

研究动机与目标

• 为解决硅悬挂键（SiDB）量子点电路缺乏自动化设计工具的问题，这类电路具有高度灵活性，但手动设计极为困难。
• 实现复杂逻辑电路在SiDB平台上的快速、可扩展且稳健的设计，克服人工试错方法的局限性。
• 开发一种强化学习框架，能够有效导航SiDB版图设计中离散、不可微分且稀疏的优化空间。
• 在多种真值表和电路规模下实现最优设计策略的收敛，包括多输入、多输出逻辑电路。
• 通过实现高效、自动化的电路原型设计，加速SiDB基计算硬件的开发与应用。

提出的方法

• 训练一个双深度Q学习强化学习智能体，在表示设计区域的二维网格画布上放置SiDB。
• 智能体接收密集奖励、稀疏奖励和终止奖励：每条真值表行损失对应-0.4，每步操作对应-0.75以鼓励效率，发现有效工作布局则奖励+1.0。
• 状态空间编码当前SiDB布局配置，动作空间选择下一个SiDB的放置位置。
• 通过经验回放和目标网络更新训练神经网络策略，以在高维离散动作空间中稳定学习。
• 该算法在多种两输入一输出逻辑门及一个两输入两输出的半加法器上进行训练，且在不同任务间无需超参数调优。
• 通过多个随机种子的平均奖励饱和度和策略相似性评估收敛性，表明策略学习具有鲁棒性。

实验结果

研究问题

• RQ1 强化学习智能体能否在无需人类预设规则的情况下，自主发现任意真值表的可行SiDB电路布局？
• RQ2 同一RL策略能否在不同逻辑复杂度之间泛化，从简单两输入门到完整的半加法器？
• RQ3 无论随机初始化如何，智能体是否均能收敛到一致且最优的设计策略，体现其鲁棒性？
• RQ4 自动化设计能否产生比人工方法更紧凑、更快速的电路？
• RQ5 该框架能否有效应对SiDB电路设计中离散、不可微分且稀疏的反馈特性？

主要发现

• 强化学习智能体成功为所有测试的两输入一输出逻辑门收敛到最优设计策略，平均奖励饱和表明策略学习稳定。
• 在五个不同随机种子下均实现鲁棒收敛，所有智能体均学会将SiDB对称地放置在中心轴附近，朝向输入线，与已知的人工设计模式一致。
• 对于两输入两输出的半加法器，自动化设计工具使用比文献中唯一已展示的半加法器少一个数量级的SiDB数量，成功生成了工作布局。
• 设计时间相比人工设计减少了数个数量级，展现出显著的效率提升。
• 即使在找到一个有效布局后，智能体仍能发现新的有效布局，表明其持续探索，具备设计多样性的潜力。
• 该框架具备良好的泛化能力：同一神经网络和超参数被用于所有电路类型而无需重新训练，显示出强大的迁移能力。