[論文レビュー] Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale

Soyed Tuhin Ahmed, Kamal Danouchi+4 more|arXiv (Cornell University)|Nov 27, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、個々のニューロンではなく、スケールベクトル全体を確率的にドロップする新しい正則化手法であるScale-Dropoutを提案する。これにより、モデルサイズにかかわらず1つの確率的ユニットで十分なモンテカルロ推論が可能となり、エネルギー効率が向上する。この手法はスピントロニクス型計算内記憶（CIM）アーキテクチャ上ですべてのスケールベクトルを確率的にドロップすることで、最大100倍のエネルギー効率向上を達成し、OOD検出率が最大100%に上昇し、SOTA BNNよりも予測精度が1.33%高い。

ABSTRACT

Uncertainty estimation in Neural Networks (NNs) is vital in improving reliability and confidence in predictions, particularly in safety-critical applications. Bayesian Neural Networks (BayNNs) with Dropout as an approximation offer a systematic approach to quantifying uncertainty, but they inherently suffer from high hardware overhead in terms of power, memory, and computation. Thus, the applicability of BayNNs to edge devices with limited resources or to high-performance applications is challenging. Some of the inherent costs of BayNNs can be reduced by accelerating them in hardware on a Computation-In-Memory (CIM) architecture with spintronic memories and binarizing their parameters. However, numerous stochastic units are required to implement conventional dropout-based BayNN. In this paper, we propose the Scale Dropout, a novel regularization technique for Binary Neural Networks (BNNs), and Monte Carlo-Scale Dropout (MC-Scale Dropout)-based BayNNs for efficient uncertainty estimation. Our approach requires only one stochastic unit for the entire model, irrespective of the model size, leading to a highly scalable Bayesian NN. Furthermore, we introduce a novel Spintronic memory-based CIM architecture for the proposed BayNN that achieves more than $100 imes$ energy savings compared to the state-of-the-art. We validated our method to show up to a $1\%$ improvement in predictive performance and superior uncertainty estimates compared to related works.

研究の動機と目的

• エッジデバイスにおけるベイジアンニューラルネットワーク（BayNNs）のハードウェアコストの高さを、過剰な確率的ユニットとメモリアクセスの増加が原因として解消する。
• BayNNsにおける確率的ユニットの数をニューロンごとのものから、レイヤーごとのスケールベクトルに削減し、BNNにおけるスケーラブルな不確実性推定を実現する。
• 周辺回路の変更を最小限に抑え、スケーラブルでハードウェア効率の良いスピントロニクスメモリベースの計算内記憶（CIM）アーキテクチャを設計する。
• モデルパラメータや計算複雑度を増加させることなく、BNNにおける不確実性の定量化と予測性能を向上させる。
• SOT-MRAMベースのCIMを用いて、リソース制約のあるエッジデバイス上での不確実性対応BNNのエネルギー効率の良い展開を実現する。

提案手法

• 確率的確率pでBNNのレイヤーのスケールベクトル全体をドロップする正則化手法であるScale-Dropoutを提案し、トレーニング中の共適応を低減する。
• モンテカルロスケールドロップアウト（MC-Scale Dropout）を導入し、確率的スケールベクトルを用いてモンテカルロサンプリングにより予測不確実性を推定するベイジアン推論手法を実現する。
• 周辺回路を介して確率性を注入するSOT-MRAMベースの計算内記憶（CIM）アーキテクチャを設計し、メモリアレイ自体の変更を回避する。
• SOT-MRAMの高い抵抗ダイナミックレンジ（最大数MΩ）を活用し、大規模クロスバー配列におけるスケーラブルでエネルギー効率の良いベイジアン推論を実現する。
• BNNにおけるスケールベクトルを学習可能なパラメータとして統合し、量子化誤差を低減するとともに、推論時の安定的な確率的スケーリングを可能にする。
• マトリクス・ベクトル積をメモリ内ですべてのデータ移動を最小限に抑えるクロスバー型CIMアーキテクチャに本手法を実装し、エネルギー消費を低減する。

Figure 1: Several nodes (neurons) a) at training time that are scaled with a probability of $p$ and dropped (ignored) with a probability of $1-p$ , b) At test time, if point estimate prediction is preferred, all the nodes are always scaled. However, for Bayesian inference, all nodes behave similarly

実験結果

リサーチクエスチョン

• RQ1 1つのモデルあたりの確率的ユニットで十分に不確実性推定の品質を維持できるか、それともニューロンごとのドロップアウトユニットが必要か？
• RQ2 スケールベクトル全体を確率的にスケーリングすることで、従来のMC-Dropoutと比較して不確実性の定量化と予測性能にどのような影響を与えるか？
• RQ3 周辺回路の変更を最小限に抑え、スピントロニクスメモリベースのCIMアーキテクチャが、ベイジアンBNNのエネルギー効率の良い推論をどの程度実現できるか？
• RQ4 デバイスのばらつきやメモリの精度が、提案手法のスケーラビリティと耐障害性に与える影響はどの程度か？
• RQ5 提案手法は、最先端のBNNやBayNNと比較して、より優れた分布外（OOD）検出率と予測精度を達成できるか？

主な発見

• 提案手法であるMC-Scale Dropoutは、CIFAR-10で最大100%の分布外（OOD）検出率を達成し、先行手法を大きく上回った。
• VGGアーキテクチャにおいて、明るさの劣化による精度低下6.89%の状態でも、OOD検出率が29.53%に保たれ、最悪ケース性能が安定している。
• 最先端のバイナリベイジアンニューラルネットワークと比較して、予測精度が最大1.33%向上した。
• 従来のBNN性能を最大0.26%向上させ、不確実性を考慮したトレーニングにより一般化性能が向上したことが示された。
• SOT-MRAMベースのCIMアーキテクチャは、周辺回路の変更のみで、最先端技術と比較して100倍以上のエネルギー削減を達成した。
• 実験的分析により、1000サンプルのモンテカルロサンプリングにおいて、クラス間の事後分布がガウス分布に近づくことが確認され、ベイジアン近似の妥当性が裏付けられた。

Figure 2: Spin Scale-Dropout Module based on SOT MTJ.