[論文レビュー] Fast Transient Simulation of High-Speed Channels Using Recurrent Neural Network

Thong Nguyen, Tianjian Lu+2 more|arXiv (Cornell University)|Jan 25, 2019

Electrostatic Discharge in ElectronicsEngineering参考文献 28被引用数 17

ひとこと要約

本稿では、短時間の回路シミュレータ出力系列からブラックボックスマクロモデルを学習することで、高帯域幅チャネルの過渡応答シミュレーションを加速するため、再帰的ニューラルネットワーク（RNN）、特に長短期記憶（LSTM）ネットワークの使用を提案する。学習済みのRNNは、高精度に完全なアイダイアグラムを予測でき、伝統的なSPICEに類似したシミュレータと比較して、100万倍以上も高速な計算を実現し、参照シミュレーションと強い一致を示しながら、実行時間を顕著に短縮する。

ABSTRACT

Generating eye diagrams by using a circuit simulator can be very computationally intensive, especially in the presence of nonlinearities. It often involves multiple Newton-like iterations at every time step when a SPICE-like circuit simulator handles a nonlinear system in the transient regime. In this paper, we leverage machine learning methods, to be specific, the recurrent neural network (RNN), to generate black-box macromodels and achieve significant reduction of computation time. Through the proposed approach, an RNN model is first trained and then validated on a relatively short sequence generated from a circuit simulator. Once the training completes, the RNN can be used to make predictions on the remaining sequence in order to generate an eye diagram. The training cost can also be amortized when the trained RNN starts making predictions. Besides, the proposed approach requires no complex circuit simulations nor substantial domain knowledge. We use two high-speed link examples to demonstrate that the proposed approach provides adequate accuracy while the computation time can be dramatically reduced. In the high-speed link example with a PAM4 driver, the eye diagram generated by RNN models shows good agreement with that obtained from a commercial circuit simulator. This paper also investigates the impacts of various RNN topologies, training schemes, and tunable parameters on both the accuracy and the generalization capability of an RNN model. It is found out that the long short-term memory (LSTM) network outperforms the vanilla RNN in terms of the accuracy in predicting transient waveforms.

研究の動機と目的

• 高帯域幅チャネルにおける過渡応答シミュレーションの計算コストを低減すること。特に非線形条件下での応用を想定する。
• 計算コストが高いために実用的でないSPICEに類似したシミュレーションに、精度を保持したまま機械学習ベースのモデルを導入すること。
• ドメイン知識や複雑な回路シミュレーションを最小限に抑えたブラックボックスRNNマクロモデリング手法を開発すること。
• RNNアーキテクチャ、トレーニング方式、ハイパーパrameterが信号整合性応用における精度と一般化性能に与える影響を評価すること。

提案手法

• SPICEに類似した回路シミュレータから生成された短い過渡波形系列を用いてRNNをトレーニングする。
• 教師強制（teacher-forcing）と打ち切りバックプロパゲーションスパンタイム（TBPTT）を用いてRNNパラメータを最適化する。
• 効率的なシーケンスモデリングを実現するため、共有再帰重みを有するエルマンRNN（ERNN）トポロジーを採用する。
• 通常のRNN、LSTM、GRUの異なるRNNユニットを比較し、収束性と予測精度に注目する。
• トレーニングの安定性と収束速度を向上させるために、ReLU活性化関数とAdam最適化手法を用いる。
• 長期間の疑似ランダムビット系列（PRBS）を用いてトレーニング済みRNNを検証し、完全なアイダイアグラムを生成する。

実験結果

リサーチクエスチョン

• RQ1 明示的な回路モデルなしで、RNNベースのモデルが高帯域幅チャネルにおける過渡波形を正確に予測できるか？
• RQ2 通常のRNN、LSTM、GRUといった異なるRNNアーキテクチャは、非線形チャネル応答の予測においてどのように比較されるか？
• RQ3 トレーニングシーケンス長さとTBPTTウィンドウサイズが、RNNの一般化性能および数値誤差蓄積に与える影響は何か？
• RQ4 RNNモデルは、トレーニングデータを越える長いPRBSシーケンスに対しても一般化できるか？
• RQ5 従来のSPICEに類似したシミュレーションと比較して、RNNベースのアプローチは精度と速度の両面で優れているか？

主な発見

• LSTMネットワークは、消失勾配の処理が優れているため、収束速度と予測精度の両面で通常のRNNやGRUを上回る。
• RNNモデルは、SPICEシミュレーションと強い一致を示すアイダイアグラムを生成でき、最適なサンプリングポイントが0.001 μs以内（例：14.662 μs）で一致する。
• 完全なSPICEシミュレーションと比較して、計算時間は桁違いに短縮され、反復的ニュートン型ソルバーをはるかに上回る高速な推論が可能である。
• TBPTTに起因する数値誤差が長時間シーケンスで蓄積され、数10万ビットを超えると性能が劣化するため、現在のトレーニング手法に限界があることが示された。
• 初期トレーニングを除き、複雑な回路シミュレーションやドメイン固有の知識が不要であり、高速な推論とモデル再利用が可能になる。