[논문 리뷰] Alleviation of Temperature Variation Induced Accuracy Degradation in Ferroelectric FinFET Based Neural Network

Sourav De, Yao‐Jen Lee외 4명|arXiv (Cornell University)|2021. 03. 03.

Ferroelectric and Negative Capacitance Devices인용 수 10

한 줄 요약

이 논문은 페로일렉트릭 피nfET 기반 신경망에서 온도 변화에 의한 정확도 저하를 조사하고, 온도 변화에 관계없이 추론 정확도를 유지하기 위해 이진 신경망에서 독출 전압 최적화를 제안한다. 도전성 드리프트를 모델링하고 독출 전압을 최적화함으로써, 233 K에서 96%의 정확도를 유지하여 300 K에서 학습된 기준 모델에서 관찰된 정확도 저하를 완화한다.

ABSTRACT

This paper reports the impacts of temperature variation on the inference accuracy of pre-trained all-ferroelectric FinFET deep neural networks, along with plausible design techniques to abate these impacts. We adopted a pre-trained artificial neural network (N.N.) with 96.4% inference accuracy on the MNIST dataset as the baseline. As an aftermath of temperature change, a compact model captured the conductance drift of a programmed cell over a wide range of gate biases. We observed a significant inference accuracy degradation in the analog neural network at 233 K for an N.N. trained at 300 K. Finally, we deployed binary neural networks with "read voltage" optimization to ensure immunity of N.N. to accuracy degradation under temperature variation, maintaining an inference accuracy of 96%. Keywords: Ferroelectric memories

연구 동기 및 목표

• 페로일렉트릭 피nfET 기반 신경망에서 온도 변화에 의한 정확도 저하 문제를 해결한다.
• 신경망 추론에 사용되는 페로일렉트릭 메모리 셀에서 온도 변화가 도전성 드리프트에 미치는 영향을 조사한다.
• 다양한 온도 조건에서 신경망 추론의 강건성을 확보하기 위한 설계 기법을 개발한다.
• 특히 저온에서의 온도 변동에도 불구하고 이진 신경망의 높은 추론 정확도를 유지한다.
• 독출 전압 최적화가 온도에 영향을 받지 않는 신경망 성능을 달성하는 데 효과적임을 입증한다.

제안 방법

• MNIST에서 96.4%의 정확도를 달성한 사전 학습된 인공신경망을 기준 모델로 사용하였다.
• 넓은 범위의 게이트 바이어스와 온도에서 페로일렉트릭 피nfET 셀의 도전성 드리프트를 캡처하기 위한 단순 모델을 개발하였다.
• 300 K에서 학습된 네트워크의 233 K에서의 추론 정확도 저하를 시뮬레이션하여 온도 민감도가 핵심 문제임을 규명하였다.
• 복잡성을 줄이고 장치 변동에 대한 강건성을 향상시키기 위해 이진 신경망을 구현하였다.
• 온도에 의한 도전성 드리프트를 보완하고 정확도를 유지하기 위해 이진 신경망의 독출 전압을 최적화하였다.
• 온도 범위에 걸쳐 추론 정확도를 측정하여 제안된 방법의 유효성을 검증하였으며, 특히 저온에서의 안정성에 초점을 맞추었다.

실험 결과

연구 질문

• RQ1 온도 변화는 페로일렉트릭 피nfET 기반 신경망의 추론 정확도에 어떻게 영향을 미치는가?
• RQ2 다양한 게이트 바이어스와 온도에서 페로일렉트릭 피nfET 셀의 도전성 드리프트 정도는 어느 정도인가?
• RQ3 이진 신경망에서의 독출 전압 최적화는 온도에 의한 정확도 저하를 완화할 수 있는가?
• RQ4 제안된 방법을 사용할 경우 온도 변화에 걸쳐 추론 정확도를 어느 정도 유지할 수 있는가?
• RQ5 300 K에서 학습된 신경망이 보정 기법 없이 233 K에서 얼마나 정확도가 저하되는가?

주요 결과

• 기준 신경망은 300 K에서 학습되었지만 233 K에서 심한 추론 정확도 저하가 관찰되었다.
• 단순 모델은 넓은 범위의 게이트 바이어스와 온도에서 페로일렉트릭 피nfET 셀의 도전성 드리프트를 정확하게 캡처하였다.
• 이진 신경망에서의 독출 전압 최적화가 온도에 의한 정확도 저하를 성공적으로 완화하였다.
• 최적화된 이진 신경망은 233 K에서도 96%의 추론 정확도를 유지하여 온도 변화에 대한 강건성을 입증하였다.
• 제안된 방법은 저온에서 기준 성능(96.4%)에 근접한 성능을 달성하여 열 변동에 대한 강력한 면역성을 보였다.
• 온도 변화에 따른 도전성 드리프트가 페로일렉트릭 장치를 사용하는 아날로그 신경망에서 정확도 저하의 주요 원인임을 규명하였다.