[論文レビュー] Automated Atomic Silicon Quantum Dot Circuit Design via Deep Reinforcement Learning

Robert Lupoiu, Samuel Sze Hang Ng+2 more|arXiv (Cornell University)|Apr 13, 2022

Semiconductor materials and devices被引用数 15

ひとこと要約

本論文は、複雑でハイパーサイズの設計空間を探索できる、タブラ・ラサ型のダブル・ディープQラーニングアルゴリズムを用いた、原子レベルのシリコン量子ドット回路の自動設計ツールを初めて提示する。本手法は、多様な論理回路において安定した方策収束を達成し、半加算器ではSiDBを10倍少ない数で実現し、先行研究と比較して数個のオーダーも早い設計時間を達成した。

ABSTRACT

Robust automated design tools are crucial for the proliferation of any computing technology. We introduce the first automated design tool for the silicon dangling bond quantum dot computing technology, which is an extremely versatile and flexible single-atom computing circuitry framework. The automated designer is capable of navigating the complex, hyperdimensional design spaces of arbitrarily sized design areas and truth tables by employing a tabula rasa double-deep Q-learning reinforcement learning algorithm. Robust policy convergence is demonstrated for a wide range of two-input, one-output logic circuits and a two-input, two-output half-adder, designed with an order of magnitude fewer SiDBs in several orders of magnitude less time than the only other half-adder demonstrated in the literature. We anticipate that reinforcement learning-based automated design tools will accelerate the development of the SiDB quantum dot computing technology, leading to its eventual adoption in specialized computing hardware.

研究の動機と目的

• シリコンのダングリングボンド（SiDB）量子ドット回路に自動設計ツールが不足しているという問題に取り組む。SiDB回路は非常に柔軟性に富んでいるが、手作業での設計は困難である。
• 手作業による試行錯誤の手法の限界を克服し、複雑な論理回路を迅速かつスケーラブルかつ堅牢に設計できるようにする。
• SiDBレイアウト設計の離散的で微分不能かつスパースな最適化空間を効果的に探索できる強化学習フレームワークを開発する。
• 多様な真理値表と回路規模、特に多入力・多出力論理回路において、最適な設計方策への収束を実証する。
• 効率的で自動化された回路プロトタイピングを可能にすることで、SiDBベースの計算ハードウェアの開発と採用を加速する。

提案手法

• 2次元グリッドキャンバス（設計領域を表す）上にSiDBを配置するためのダブル・ディープQラーニング強化学習エージェントを訓練する。
• エージェントは密集した報酬、スパースな報酬、および終了報酬を受信する：真理値表の各行ごとに-0.4、効率を促進するための各ステップに-0.75、有効な動作レイアウトを発見した際に+1.0。
• 状態空間は現在のSiDB配置構成を符号化し、行動空間は次のSiDB配置位置を選択する。
• ニューラルネットワーク方策は、経験再生とターゲットネットワークの更新を用いて学習を安定化させ、高次元で離散的な行動空間で学習を実現する。
• アルゴリズムは、2入力1出力の論理ゲートと2入力2出力の半加算器を含む、さまざまなタスクで訓練され、タスク間でハイパーパrameterのチューニングなしに実行された。
• 収束は、複数のランダムシードにおける平均報酬の飽和と方策の類似性を用いて評価され、安定した方策学習を示している。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、事前の人間による設計ルールなしに、任意の真理値表に対して有効なSiDB回路レイアウトを自律的かつ自動的に発見できるか？
• RQ2 同じ強化学習方策が、単純な2入力ゲートから完全な半加算器まで、さまざまな論理複雑度に一般化できるか？
• RQ3 ランダム初期化にかかわらず、一貫性があり最適な設計戦略に収束するか。これは、収束性の強さを示す。
• RQ4 自動設計ツールは、手作業による手法よりもよりコンactで高速な設計を実現できるか？
• RQ5 このフレームワークは、SiDB回路設計の離散的で微分不能かつスパースなフィードバック特性を処理できるか？

主な発見

• 強化学習エージェントは、全テスト対象の2入力1出力論理ゲートについて、最適な設計方策に収束した。平均報酬の飽和は、安定した方策学習を示している。
• 5つの異なるランダムシードにおいてもエージェントは強力な収束を示し、全エージェントが入力線に沿って中心軸を中心にSiDBを対称的に配置するという、既知の人間設計パターンと一致した。
• 2入力2出力の半加算器について、自動設計ツールは、文献にのみ記載された半加算器と比較して、10倍のオーダーで少ないSiDB数で動作するレイアウトを生成した。
• 設計時間は、手作業設計と比較して数個のオーダーも短縮され、顕著な効率向上が示された。
• 有効なレイアウトを発見した後も、エージェントは新たな有効なレイアウトを発見し続けた。これは、継続的な探索と設計多様性の可能性を示している。
• フレームワークは汎用的である：同じニューラルネットワークとハイパーパrameterが、すべての回路タイプで再利用され、再訓練なしに使用可能であり、優れた転送性を示している。