[論文レビュー] Learning to Design Circuits

Hanrui Wang, Jiacheng Yang+2 more|arXiv (Cornell University)|Dec 5, 2018

Advancements in Semiconductor Devices and Circuit Design参考文献 11被引用数 31

ひとこと要約

本論文では、事前の知識や大規模データセットが不要な強化学習フレームワーク「L2DC（Learning to Design Circuits）」を提案する。反復的なトランジスタパラメータのサンプリング、回路性能のシミュレーション、仕様に向けた進捗の報酬化により、L2DCはグリッドサーチに依存する人間の設計に比べ250倍高いサンプル効率を達成し、同じ実行時間制約下でベイズ最適化を上回る性能を示した。

ABSTRACT

Analog IC design relies on human experts to search for parameters that satisfy circuit specifications with their experience and intuitions, which is highly labor intensive, time consuming and suboptimal. Machine learning is a promising tool to automate this process. However, supervised learning is difficult for this task due to the low availability of training data: 1) Circuit simulation is slow, thus generating large-scale dataset is time-consuming; 2) Most circuit designs are propitiatory IPs within individual IC companies, making it expensive to collect large-scale datasets. We propose Learning to Design Circuits (L2DC) to leverage reinforcement learning that learns to efficiently generate new circuits data and to optimize circuits. We fix the schematic, and optimize the parameters of the transistors automatically by training an RL agent with no prior knowledge about optimizing circuits. After iteratively getting observations, generating a new set of transistor parameters, getting a reward, and adjusting the model, L2DC is able to optimize circuits. We evaluate L2DC on two transimpedance amplifiers. Trained for a day, our RL agent can achieve comparable or better performance than human experts trained for a quarter. It first learns to meet hard-constraints (eg. gain, bandwidth), and then learns to optimize good-to-have targets (eg. area, power). Compared with grid search-aided human design, L2DC can achieve $\mathbf{250}\boldsymbol{ imes}$ higher sample efficiency with comparable performance. Under the same runtime constraint, the performance of L2DC is also better than Bayesian Optimization.

研究の動機と目的

• アナログIC設計における時間的・人的コストの高さに起因する、専門家の直感的感覚と手動によるパラメータチューニング依存の課題に対処すること。
• 回路シミュレーションの遅さと特許権保護されたIPの制限により、教師あり学習に適したラベル付き学習データが不足する問題を克服すること。
• 事前知識やドメインルールを必要とせず、強化学習を通じて最適な回路パラメータを学習する自動的でデータ効率の良い手法を開発すること。
• 従来の方法（グリッドサーチ、ランダムサーチ、ベイズ最適化など）と比較して、サンプル効率と性能を向上させること。
• 2段および3段のトランスインピーダンスアンプを含む、異なる回路タイプにわたる一般化を示すこと。

提案手法

• L2DCは、回路シミュレーション環境（例：Hspice/Spectre）と相互作用する強化学習エージェントを採用し、新たなトランジスタパラメータセットを生成する。
• エージェントは、シミュレーション出力から得られるDC動作点、ACのマグニチュード/位相応答、トランジスタのモードといった回路状態を観測する。
• 正規化された性能指標（例：利得、帯域幅、消費電力、面積）に基づいて密度の高い報酬関数を定義し、ハード制約は比ベースの満足度スコアによって強制する。
• アクター・クリティックフレームワークは、高次元の設計空間における構造的探索を可能にするために、系列変換モデルを用いてパラメータベクトルを生成する。
• DDPGアルゴリズムをRLの基盤として採用し、経験再生とターゲットネットワークを活用して連続的アクション空間の最適化を実現する。
• 訓練プロセスは、シミュレーション、報酬計算、方策更新の順に繰り返され、エージェントが階層的な最適化戦略を学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベル付きデータセットに依存せずに、強化学習をアナログIC設計最適化に効果的に適用できるか？
• RQ2 マルチオブジェクティブな設定において、エージェントがソフト指標（例：消費電力、面積）を最適化する前に、ハード制約（例：利得、帯域幅）を優先的に満たす学習を可能にするか？
• RQ3 同じ実行時間制約下で、RLベースの設計のサンプル効率は、人間がグリッドサーチを支援する設計と比較してどの程度高いか？
• RQ4 エージェントは、2段および3段のトランスインピーダンスアンプのような異なるアナログ回路アーキテクチャに一般化できるか？
• RQ5 エージェントは、まずハード制約を改善し、その後に二次的目標を最適化する戦略的行動を発展させるか？

主な発見

• L2DCは、人間の専門家が設計した2段トランスインピーダンスアンプの帯域幅性能の97.143％を達成したが、人間が使用した129万回のシミュレーションに対し、わずか5万回のシミュレーションで達成した。
• エージェントは、グリッドサーチを支援する人間の設計に比べ、250倍高いサンプル効率を示し、はるかに少ないシミュレーション回数で同等または優れた性能を達成した。
• 同じ30時間の実行時間制約下で、L2DC（DDPGを用いて）すべてのハード制約（ノイズ、利得、ピーキング、消費電力）を満たし、5.78 GHzの帯域幅を達成したが、ランダムサーチおよびベイズ最適化はノイズ制約を満たせなかった。
• 学習曲線から、エージェントがまず消費電力と帯域幅を向上させてハード制約を満たし、その後に消費電力と面積を低減しながら性能を維持していることが示され、戦略的最適化行動が確認された。
• 3段トランスインピーダンスアンプにおいても、エージェントはすべてのハード制約を満たし、高い性能を達成した。これは、回路の複雑さにわたる一般化を示している。
• 同じ実行時間制約下で、L2DCはベイズ最適化を制約満たし具合および最終的な性能の両面で上回り、その効率的優位性を示した。