[論文レビュー] Alleviation of Temperature Variation Induced Accuracy Degradation in Ferroelectric FinFET Based Neural Network

Sourav De, Yao‐Jen Lee+4 more|arXiv (Cornell University)|Mar 3, 2021

Ferroelectric and Negative Capacitance Devices被引用数 10

ひとこと要約

本稿では、全鉄酸化物ナノフィンFETを用いたニューラルネットワークにおける温度変化に起因する精度低下を調査し、温度変動にわたって推論精度を維持するためのバイナリニューラルネットワークにおけるリード電圧最適化を提案する。導電度の時間的変化をモデル化し、リード電圧を最適化することで、233 Kで96%の精度を維持することができ、300 Kで学習したベースラインモデルで観察された低下を緩和した。

ABSTRACT

This paper reports the impacts of temperature variation on the inference accuracy of pre-trained all-ferroelectric FinFET deep neural networks, along with plausible design techniques to abate these impacts. We adopted a pre-trained artificial neural network (N.N.) with 96.4% inference accuracy on the MNIST dataset as the baseline. As an aftermath of temperature change, a compact model captured the conductance drift of a programmed cell over a wide range of gate biases. We observed a significant inference accuracy degradation in the analog neural network at 233 K for an N.N. trained at 300 K. Finally, we deployed binary neural networks with "read voltage" optimization to ensure immunity of N.N. to accuracy degradation under temperature variation, maintaining an inference accuracy of 96%. Keywords: Ferroelectric memories

研究の動機と目的

• 鉄酸化物ナノフィンFETを用いたニューラルネットワークにおける温度変動に起因する精度低下の課題に対処すること。
• ニューラルネットワーク推論に用いられる鉄酸化物メモリセルにおける導電度の時間的変化に及ぼす温度変化の影響を調査すること。
• さまざまな温度条件下でも安定したニューラルネットワーク推論を実現するための設計技術を開発すること。
• 特に低温条件下でも、温度変動にかかわらず高い推論精度を維持すること。
• リード電圧最適化が温度に依存する精度低下を是正し、温度に強く安定したニューラルネットワーク性能を実現できることを実証すること。

提案手法

• MNISTデータセットで96.4%の精度を達成した事前学習済みの人工ニューラルネットワークをベースラインモデルとして使用した。
• 広いゲートバイアス範囲および温度範囲において、鉄酸化物ナノフィンFETセルの導電度の時間的変化を正確に再現できるコンactモデルを構築した。
• 300 Kで学習したネットワークの233 Kにおける推論精度の低下をシミュレーションし、温度依存性が主な問題であることを特定した。
• 複雑さを低減し、デバイスのばらつきに対する耐性を高めるために、バイナリニューラルネットワークを採用した。
• 温度に起因する導電度の時間的変化を是正するため、バイナリニューラルネットワークにおけるリード電圧を最適化した。
• 温度範囲にわたる推論精度を測定することで、提案手法の有効性を検証した。特に低温での安定性に注目した。

実験結果

リサーチクエスチョン

• RQ1 温度変動は、全鉄酸化物ナノフィンFETを用いたニューラルネットワークの推論精度にどのように影響するか？
• RQ2 異なるゲートバイアスおよび温度条件下で、鉄酸化物ナノフィンFETセルの導電度の時間的変化はどの程度の規模で発生するか？
• RQ3 バイナリニューラルネットワークにおけるリード電圧最適化は、温度に起因する精度低下を是正できるか？
• RQ4 提案手法を用いることで、温度変動にわたってどの程度の推論精度を維持できるか？
• RQ5 300 Kで学習したニューラルネットワークは、補償技術を用いない場合、233 Kでどの程度の精度低下を示すか？

主な発見

• 300 Kで学習したベースラインニューラルネットワークにおいて、233 Kで顕著な推論精度の低下が観察された。
• コンパクトモデルは、広いゲートバイアス範囲および温度範囲において、鉄酸化物ナノフィンFETセルの導電度の時間的変化を正確に再現できた。
• バイナリニューラルネットワークにおけるリード電圧最適化により、温度に起因する精度低下が効果的に是正された。
• 最適化されたバイナリニューラルネットワークは、233 Kでも96%の推論精度を維持し、温度変動に強い性能を示した。
• 提案手法により、低温条件下でもベースライン精度（96.4%）にほぼ達する性能が得られ、熱的変動に対して強い耐性があることが示された。
• 温度変動に伴う導電度の時間的変化が、鉄酸化物デバイスを用いたアナログニューラルネットワークにおける精度低下の主な要因であると特定された。