[論文レビュー] Domain Knowledge-Based Automated Analog Circuit Design with Deep Reinforcement Learning

Weidong Cao, Mouhacine Benosman+2 more|arXiv (Cornell University)|Feb 26, 2022

Advancements in Semiconductor Devices and Circuit Design被引用数 6

ひとこと要約

本論文は、グラフニューラルネットワーク（GNN）と全結合ネットワーク（FCNN）を用いて回路トポロジーや仕様のトレードオフをモデル化することで、ドメイン知識統合型の深層強化学習フレームワークを提案し、自動化されたプリレイアウトアナログ回路設計を実現する。この手法は、先行する強化学習手法と比較して1.5倍の効率性を達成し、人間水準の精度（約99％）を実現。GaNベースのRFパワー電子回路を含む多様なアナログ回路および半導体技術に一般化可能である。

ABSTRACT

The design automation of analog circuits is a longstanding challenge in the integrated circuit field. This paper presents a deep reinforcement learning method to expedite the design of analog circuits at the pre-layout stage, where the goal is to find device parameters to fulfill desired circuit specifications. Our approach is inspired by experienced human designers who rely on domain knowledge of analog circuit design (e.g., circuit topology and couplings between circuit specifications) to tackle the problem. Unlike all prior methods, our method originally incorporates such key domain knowledge into policy learning with a graph-based policy network, thereby best modeling the relations between circuit parameters and design targets. Experimental results on exemplary circuits show it achieves human-level design accuracy (~99%) with 1.5x efficiency of existing best-performing methods. Our method also shows better generalization ability to unseen specifications and optimality in circuit performance optimization. Moreover, it applies to designing diverse analog circuits across different semiconductor technologies, breaking the limitations of prior ad-hoc methods in designing one particular type of analog circuits with conventional semiconductor technology.

研究の動機と目的

• プリレイアウト段階における長年の課題である非効率的で手作業によるアナログ回路設計の問題に取り組む。
• 従来の最適化ベースおよび学習ベースの手法を上回る設計精度と効率性を向上させる。
• CMOSやGaNを含む、多様なアナログ回路および半導体技術に跨る一般化を可能にする。
• 回路トポロジーや仕様の関係性といったエキスパートレベルのドメイン知識を、強化学習ポリシー学習に統合する。
• 各回路タイプに対して再トレーニングを必要としない、スケーラブルで転送可能なフレームワークを構築する。

提案手法

• グラフベースのポリシーネットワークは、グラフ畳み込みネットワーク（GCN）またはグラフアテンションネットワーク（GAT）と全結合ニューラルネットワーク（FCNN）を組み合わせる。
• GNNは回路全体のトポロジーを符号化し、デバイスパラメータ、接続関係、物理的相互作用を捉える。
• FCNNは回路仕様（例：電力、帯域幅、利得）間の関係性をモデル化し、設計上のトレードオフを反映する。
• 強化学習エージェントは、ターゲット仕様を満たすために段階的にデバイスパラメータを調整する逐次的意思決定ポリシーを学習する。
• ドメイン知識がポリシーネットワークのアーキテクチャそのものに直接埋め込まれており、複数段階の精練を経る人間のようなチューニング行動を実現する。
• 異なる回路タイプや半導体技術（CMOSやGaNを含む）に跨る一般化を実現するため、転移学習が活用される。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、アナログ回路プリレイアウト最適化において人間水準の設計精度を達成できるか？
• RQ2 具体的に回路トポロジーや仕様のトレードオフを統合したドメイン知識の統合が、設計の効率性と精度にどのように影響するか？
• RQ3 提案手法は、GaNを用いたRFパワー電子回路を含む多様なアナログ回路タイプおよび半導体技術に一般化可能か？
• RQ4 グラフベースのポリシーネットワークは、従来の強化学習および最適化ベースの手法に比べ、設計の効率性と最適性で優れているか？
• RQ5 設計に失敗した場合、RLエージェントは手動チューニングに役立つ有用なヒントをどの程度提供できるか？

主な発見

• 本手法は約99％の設計精度を達成し、人間水準の性能を再現。従来の最適化ベースおよび学習ベースの手法を著しく上回る。
• 最良の先行強化学習手法と比較して1.5倍、最適化ベースの手法と比較して10倍の設計効率向上を達成。
• 未学習の仕様や回路タイプ、GaN技術を用いたRFパワー電子回路に対しても優れた一般化性能を示す。
• 失敗したケースでさえも、実際に有効なヒントを提供し、人間の入力を組み合わせることで100％の設計精度を保証する。
• グラフベースのポリシーネットワークは、従来の手法と比較して物理的相互作用や仕様のトレードオフをより良い形でモデル化可能。
• 異なる半導体技術および回路トポロジに跨る転送が可能であり、従来のアドホックで回路固有の手法の制限を打ち破る。