[論文レビュー] Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization

Li-Huang Tsai, Shih-Chieh Chang+4 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Memory and Neural Computing参考文献 27被引用数 10

ひとこと要約

本稿では、処理内メモリ（PIM）アクセラレータに内在するノイズによって引き起こされるニューラルネットワークの活性化分布のシフトを補正するため、トレーニングなしで動的に実行時平均および分散推定を調整するノイズに頑健なバッチ正則化（NaBN）を提案する。画像分類、物体検出、セマンティックセグメンテーションのタスクにおいて、多様なノイズ設定下で高い性能を発揮する。

ABSTRACT

Analog computing hardwares, such as Processing-in-memory (PIM) accelerators, have gradually received more attention for accelerating the neural network computations. However, PIM accelerators often suffer from intrinsic noise in the physical components, making it challenging for neural network models to achieve the same performance as on the digital hardware. Previous works in mitigating intrinsic noise assumed the knowledge of the noise model, and retraining the neural networks accordingly was required. In this paper, we propose a noise-agnostic method to achieve robust neural network performance against any noise setting. Our key observation is that the degradation of performance is due to the distribution shifts in network activations, which are caused by the noise. To properly track the shifts and calibrate the biased distributions, we propose a "noise-aware" batch normalization layer, which is able to align the distributions of the activations under variational noise inherent in the analog environments. Our method is simple, easy to implement, general to various noise settings, and does not need to retrain the models. We conduct experiments on several tasks in computer vision, including classification, object detection and semantic segmentation. The results demonstrate the effectiveness of our method, achieving robust performance under a wide range of noise settings, more reliable than existing methods. We believe that our simple yet general method can facilitate the adoption of analog computing devices for neural networks.

研究の動機と目的

• アナログ処理内メモリ（PIM）ハードウェアにおける内在的デバイスノイズによって引き起こされる深層ニューラルネットワークの推論性能の低下を解消すること。
• ノイズ特性の事前知識や各ノイズプロファイルごとの再トレーニングを必要とする従来のノイズ低減手法の限界を克服すること。
• 追加のトレーニングを伴わず、さまざまなノイズ条件でもモデルの精度を維持できる汎用的で低コストのソリューションを開発すること。
• ノイズのあるアナログ計算下での活性化分布の安定化により、PIMアクセラレータ上でのニューラルネットワークの実用的導入を可能にすること。

提案手法

• アナログノイズによって引き起こされる分布シフトを是正するため、バッチノーマライゼーション層における実行時平均および分散推定のノイズ認識キャリブレーションを提案する。
• トレーニングの微調整を必要とせず、観測されたノイズ特性に基づいてバッチ統計を動的に補正する推論時における動的キャリブレーションを導入する。
• バッチノーマライゼーションの本質的正則化機能を活用するとともに、ノイズ認識推定を組み合わせて、正確な活性化分布を維持する。
• アーキテクチャの変更や再トレーニングなしに、標準的な深層学習モデル（ResNet、YOLO-v3、FCN-ResNet101）に適用可能である。
• Kullback-Leibler距離およびJensen-Shannon距離を用いて、クリーンな活性化とノイズのある活性化の間の分布シフトの低減を定量化・検証する。
• 軽量なレイヤー変更として実装されており、既存のモデルおよび推論パイプラインと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 PIMハードウェアの内在的ノイズが、なぜニューラルネットワーク推論の性能を低下させるのか。
• RQ2 事前のノイズ知識や再トレーニングなしで、さまざまなノイズレベルにわたってモデルの頑健性を維持できるノイズに頑健な手法を開発可能か。
• RQ3 ノイズのあるアナログ計算下で、バッチノーマライゼーション統計のノイズ認識キャリブレーションが、ネットワーク活性化における分布シフトをどの程度低減できるか。
• RQ4 未知のノイズスケールに適応する能力という観点から、ノイズインジェクショントレーニングと比較して、本手法はどの程度優れているか。
• RQ5 分類、物体検出、セマンティックセグメンテーションといった多様なコンピュータビジョンタスクにおいて、ノイズのあるPIM環境下で本手法は一般化可能か。

主な発見

• 提案手法であるノイズ認識バッチノーマライゼーション（NaBN）は、さまざまなノイズスケール下で標準バッチノーマライゼーションやノイズインジェクショントレーニングよりも顕著に優れた頑健性を示す。
• 物体検出タスクにおけるCOCO-2014データセットでは、YOLO-v3にNaBNを適用した場合、MUL型ノイズ（η₀=0.05）下で49.8%のmAPを達成した。これはベースラインの30.5%を上回り、19.3%の絶対的向上を示した。
• PASCAL VOC-2012データセットにおけるセマンティックセグメンテーションでは、FCN-ResNet101にNaBNを適用した場合、MUL型ノイズ（η₀=0.05）下で80.6%のmIoUを達成した。これはベースラインの70.8%を上回り、9.8%の絶対的向上を示した。
• 本手法はMULおよびADDの複数のノイズタイプおよびスケールにおいて高い性能を維持し、ノイズインジェクショントレーニングはノイズスケールがトレーニング時と逸脱すると急激に性能が低下するのに対し、優れた耐性を示した。
• 再トレーニングを伴わず、推論時に動的キャリブレーションが可能であるため、変化するか未知のノイズ環境に適応可能である。
• KL距離およびJS距離で測定した分布発散の低減が有効に実現されており、クリーンな活性化とノイズのある活性化の分布を一致させられることを確認した。