[논문 리뷰] Fast Transient Simulation of High-Speed Channels Using Recurrent Neural Network

Thong Nguyen, Tianjian Lu외 2명|arXiv (Cornell University)|2019. 01. 25.

Electrostatic Discharge in ElectronicsEngineering참고 문헌 28인용 수 17

한 줄 요약

이 논문은 고속 채널의 일시적 시뮬레이션을 가속화하기 위해 순환 신경망(RNN), 특히 장기 단기 기억(LSTM) 네트워크를 사용하여 짧은 회로 시뮬레이터 시퀀스에서 블랙박스 매크로 모델을 학습하는 방법을 제안한다. 훈련된 RNN은 높은 정확도로 전체 아이 다이어그램을 예측하며, 전통적인 SPICE 유사 시뮬레이터에 비해 수 개의 주기 빠른 계산을 구현하여 기준 시뮬레이션과 강한 일치를 보이며 실행 시간을 크게 단축시킨다.

ABSTRACT

Generating eye diagrams by using a circuit simulator can be very computationally intensive, especially in the presence of nonlinearities. It often involves multiple Newton-like iterations at every time step when a SPICE-like circuit simulator handles a nonlinear system in the transient regime. In this paper, we leverage machine learning methods, to be specific, the recurrent neural network (RNN), to generate black-box macromodels and achieve significant reduction of computation time. Through the proposed approach, an RNN model is first trained and then validated on a relatively short sequence generated from a circuit simulator. Once the training completes, the RNN can be used to make predictions on the remaining sequence in order to generate an eye diagram. The training cost can also be amortized when the trained RNN starts making predictions. Besides, the proposed approach requires no complex circuit simulations nor substantial domain knowledge. We use two high-speed link examples to demonstrate that the proposed approach provides adequate accuracy while the computation time can be dramatically reduced. In the high-speed link example with a PAM4 driver, the eye diagram generated by RNN models shows good agreement with that obtained from a commercial circuit simulator. This paper also investigates the impacts of various RNN topologies, training schemes, and tunable parameters on both the accuracy and the generalization capability of an RNN model. It is found out that the long short-term memory (LSTM) network outperforms the vanilla RNN in terms of the accuracy in predicting transient waveforms.

연구 동기 및 목표

• 특히 비선형 조건에서 고속 채널의 일시적 시뮬레이션에 대한 계산 비용을 줄이기 위해.
• 정확도를 유지하면서 계산 비용이 높은 SPICE 유사 시뮬레이션을 기계학습 기반 모델로 대체하기 위해.
• 도메인 지식이나 복잡한 회로 시뮬레이션 없이도 최소한의 노력으로 RNN 매크로 모델링 접근법을 개발하기 위해.
• RNN 아키텍처, 훈련 방식, 하이퍼파ram터가 신호 정합성 응용 분야에서 정확도와 일반화 능력에 미치는 영향을 평가하기 위해.

제안 방법

• SPICE 유사 회로 시뮬레이터에서 생성된 짧은 일시적 웨이브폼 시퀀스를 기반으로 RNN을 훈련한다.
• 절단된 시간을 거쳐 역전파(TBPTT)를 사용한 교사-강요(teacher-forcing) 기법을 활용해 RNN 파라미터를 최적화한다.
• 효율적인 시퀀스 모델링을 위해 공유된 순환 가중치를 갖는 엘먼 RNN(ERNN) 아키텍처를 사용한다.
• 일반 RNN, LSTM, GRU 등 다양한 RNN 유닛을 비교하여 수렴성과 예측 정확도에 중점을 둔다.
• 훈련 안정성과 수렴 속도 향상을 위해 ReLU 활성화 함수와 Adam 최적화기법을 사용한다.
• 전체 아이 다이어그램 생성을 위해 장기적인 의사난수 비트 시퀀스(PRBS)를 사용해 훈련된 RNN을 검증한다.

실험 결과

연구 질문

• RQ1 명시적인 회로 모델링 없이도 RNN 기반 모델이 고속 채널에서 일시적 웨이브폼을 정확히 예측할 수 있는가?
• RQ2 일반 RNN, LSTM, GRU 등 다양한 RNN 아키텍처는 비선형 채널 반응을 예측할 때 어떻게 비교되는가?
• RQ3 훈련 시퀀스 길이와 TBPTT 윈도우 크기가 RNN의 일반화 능력과 수치 오차 누적에 어떤 영향을 미치는가?
• RQ4 RNN 모델은 훈련 데이터를 초월한 더 긴 PRBS 시퀀스로 일반화될 수 있는가?
• RQ5 전통적인 SPICE 유사 시뮬레이션과 비교했을 때 RNN 기반 접근법은 정확도와 속도 면에서 어떻게 다른가?

주요 결과

• LSTM 네트워크는 기울기 소실 문제를 더 잘 다루기 때문에 수렴 속도와 예측 정확도 면에서 일반 RNN과 GRU를 능가한다.
• RNN 모델은 SPICE 시뮬레이션과 강한 일치를 보이며 아이 다이어그램을 생성했고, 최적의 샘플링 포인트가 0.001 μs 이내로 일치한다(예: 14.662 μs).
• 전체 SPICE 시뮬레이션 대비 계산 시간이 수 개의 주기 빠르게 감소했으며, 반복적인 뉴턴 유사 해법보다 추론 속도가 크게 빠르다.
• TBPTT로 인해 장기간의 시퀀스에서 수치 오차가 누적되어 수십만 비트가 넘는 후반부에 성능 저하가 발생함을 확인하여 현재 훈련 방법론의 한계를 드러냈다.
• 초기 훈련 이후에는 복잡한 회로 시뮬레이션이나 도메인 전문 지식이 필요 없으며, 빠른 추론과 모델 재사용이 가능하다.