[論文レビュー] PISA: A Binary-Weight Processing-In-Sensor Accelerator for Edge Image Processing

Shaahin Angizi, Sepehr Tabrizchi+1 more|arXiv (Cornell University)|Feb 18, 2022

Advanced Memory and Neural Computing被引用数 11

ひとこと要約

PISAは、非揮発性メモリ（NVM）ベースのコンピュートピクセルを用いて、バイナリ重みニューラルネットワーク（BWNNs）の最初の層で粗粒度の畳み込みを実行するプロセッシングインセンサ（PIS）アクセラレータである。これにより、データ変換および送信にかかるエネルギーを顕著に削減できる。PISAは1000 FPSの性能と1.74 TOp/s/Wの効率を達成し、CPUセンサーベースラインと比較して消費電力を84%削減した。

ABSTRACT

This work proposes a Processing-In-Sensor Accelerator, namely PISA, as a flexible, energy-efficient, and high-performance solution for real-time and smart image processing in AI devices. PISA intrinsically implements a coarse-grained convolution operation in Binarized-Weight Neural Networks (BWNNs) leveraging a novel compute-pixel with non-volatile weight storage at the sensor side. This remarkably reduces the power consumption of data conversion and transmission to an off-chip processor. The design is completed with a bit-wise near-sensor processing-in-DRAM computing unit to process the remaining network layers. Once the object is detected, PISA switches to typical sensing mode to capture the image for a fine-grained convolution using only the near-sensor processing unit. Our circuit-to-application co-simulation results on a BWNN acceleration demonstrate acceptable accuracy on various image datasets in coarse-grained evaluation compared to baseline BWNN models, while PISA achieves a frame rate of 1000 and efficiency of ~1.74 TOp/s/W. Lastly, PISA substantially reduces data conversion and transmission energy by ~84% compared to a baseline CPU-sensor design.

研究の動機と目的

• エッジAIビジョンシステムにおけるデータ変換および送信にかかる高コストなエネルギーを低減するため、計算をセンサに近づける。
• 特に電力制限およびメモリ壁のボトル neck を抱えるエッジデバイスにおける、従来のフォン・ノイマンアーキテクチャの限界を克服する。
• 低遅延・高スルーレット設計により、インセンサ内計算を実現し、IoTおよびエッジAIデバイスにおけるリアルタイムでエネルギー効率の良い画像処理を可能にする。
• インセンサ内粗粒度処理と近センサ細粒度処理を統合したハイブリッドPIS-PNSアーキテクチャを導入し、最適なパフォーマンスとエネルギー効率を実現する。
• エネルギー回収システムに共通する間欠的電源環境において、非揮発性メモリを用いて即時のウェークアップと低スタンバイ電力による耐障害性を確保する。

提案手法

• バイナリ重みを内蔵する非揮発性メモリ（NVM）を統合した新規コンピュートピクセルを設計し、A/D変換の前段階でフォト電流に対して直接ビット単位の畳み込みを実行する。
• 二重モード動作を実装：BWNNの最初の層ではインセンサ内処理を実行し、物体検出時に細粒度処理に切り替える標準的なセンシングモードに移行する。
• 二重行アクティベート機構を活用してDRAMセル内の電荷共有を活用し、以降のネットワーク層に対してビット単位の近センサ処理インメモリ（PIM）を実現する。
• 65nmプロセスを用いて、回路レベルからアプリケーションレベルまでを統合的に共同シミュレーションし、PISAをMNIST、SVHN、CIFAR-10で学習されたBWNNと統合する。
• 初期のインセンサ内特徴抽出により、オフチップデータ移動を最小限に抑え、不要なデータ送信を排除することで、エネルギー効率を最適化する。
• 再構成可能でプログラマブルな設計を採用し、センシングと処理モード間での動的切り替えを可能にしつつ、センシングの忠実度を維持する。

実験結果

リサーチクエスチョン

• RQ1 バイナリ重みを用いたインセンサ内処理は、エッジAIビジョンシステムにおけるデータ変換および送信エネルギーを顕著に低減できるか？
• RQ2 コンピュートピクセルに非揮発性メモリを統合することで、低消費電力エッジデバイスにおけるエネルギー効率と電源断耐性がどのように向上するか？
• RQ3 ハイブリッドPIS-PNSアーキテクチャは、リアルタイム画像処理において、高い精度を維持しながらも、超高速スルーレットと低遅延を実現できるか？
• RQ4 従来のMACベース設計と比較して、PISアーキテクチャでビット単位の演算を使用する場合のパフォーマンスとエネルギー効率のトレードオフはどの程度か？
• RQ5 提案されたPISA設計は、MNIST、SVHN、CIFAR-10といった多様な画像データセットにおいて、精度と効率の両面でどの程度の性能を示すか？

主な発見

• PISAは画像処理タスクにおいて1000 FPSのフレームレートを達成し、エッジAIアプリケーションにおけるリアルタイム性能を実証した。
• アクセラレータは1.74 TOp/s/Wの効率を達成し、ベースラインのCPUセンサーシステムと比較して顕著に優れたエネルギー効率を示した。
• PISAは、オフチップデータ移動を排除することで、CPUセンサーベースラインと比較してデータ変換および送信エネルギーを約84%削減した。
• MNIST、SVHN、CIFAR-10データセットでは、それぞれ95.12%、90.35%、79.80%の分類精度を達成し、BWNNにおいても妥当な精度を示した。
• コンピュートピクセルは65nmプロセスで55×55 µm²を占め、回路レベルのシミュレーションで同等のSRAMベース設計（MACSen）と比較して40%の低消費電力となった。
• NVMの使用により即時のウェークアップと低スタンバイ電力が実現され、エネルギー回収型IoTシステムに一般的な間欠的電源環境における耐障害性が向上した。