[論文レビュー] Hardware based Spatio-Temporal Neural Processing Backend for Imaging Sensors: Towards a Smart Camera

Samiran Ganguly, Yunfei Gu+2 more|arXiv (Cornell University)|Mar 23, 2018

Neural Networks and Reservoir Computing参考文献 15被引用数 3

ひとこと要約

本論文は、画像センサー向けに、リザボア・コンピューティングを用いた神経フィルタリング、強化されたR-CNNを用いた空間特徴抽出、および階層的時系列記憶（HTM）を用いた運動予測を統合した、ハードウェアベースの空間的・時間的ニューラル処理バックエンドを提案する。本システムは、物質的限界を超えてリアルタイムで画像のSNRを向上させるとともに、ユーザー定義の特徴追跡を可能にし、スケーラブルなCMOSおよび新規ナノ材料（例：スピントロニクスデバイス）により、スマートカメラ向けの超低消費電力埋め込みニューラルプロセッサを実現する。

ABSTRACT

In this work we show how we can build a technology platform for cognitive imaging sensors using recent advances in recurrent neural network architectures and training methods inspired from biology. We demonstrate learning and processing tasks specific to imaging sensors, including enhancement of sensitivity and signal-to-noise ratio (SNR) purely through neural filtering beyond the fundamental limits sensor materials, and inferencing and spatio-temporal pattern recognition capabilities of these networks with applications in object detection, motion tracking and prediction. We then show designs of unit hardware cells built using complementary metal-oxide semiconductor (CMOS) and emerging materials technologies for ultra-compact and energy-efficient embedded neural processors for smart cameras.

研究の動機と目的

• センシング、メモリ、論理を統合した認知的イメージングセンサープラットフォームを構築し、リアルタイムの空間的・時間的処理を実現すること。
• センサ材料の根本的限界を超えて、神経フィルタリングを用いて信号対雑音比（SNR）と感度を物理的制約を超えて向上させること。
• リアルタイムでのユーザー定義特徴追跡（検出、空間パラメータ抽出（位置、サイズ、回転）、運動予測）を可能にすること。
• CMOSおよび新規ナノ材料（例：スピントロニクスデバイス）を用いて、エネルギー効率的かつコンactな神経処理ハードウェアを設計し、埋め込み展開を可能にすること。

提案手法

• エコー状態ネットワーク（ESN）を用いてリザボア・コンピューティングの一種として神経フィルタリングを実施し、時間依存のセンサ歪みを学習・逆転させ、ノイズの多い画像におけるSNRを向上させた。
• 強化された領域ベースの畳み込みニューラルネットワーク（R-CNN）を用いて空間的特徴とその標準的な運動変数（位置（x,y）、サイズ（h,w）、方位（θ, φx, φy））を抽出した。
• 階層的時系列記憶（HTM）を用いて、空間的・時間的相関をモデル化し、追跡対象の特徴の運動生成方程式を学習・予測した。
• スピントロニクスデバイス（例：磁気トンネル接合）を用いて、調整可能なエネルギー障壁を持つ一般化された確率的ニューロンモデルを設計し、非線形活性化関数と確率性を模倣した。
• プログラマブルなコンダクタンス（I = GV）を用いてシナプス重みを実装し、メモリスティスのハイブリッドクロスバーアレイを用いて、シナプス接続をコンactに実装した。
• ニューロンダイナミクスを、電荷ベースのコンデンサ（Q_in）と非線形転送関数 f(α·dQ_in/dt) を用いてモデル化し、学習に不可欠な確率的挙動を実現するため、白色ガウスノイズ（I_rnd）を追加した。

実験結果

リサーチクエスチョン

• RQ1 リザボア・コンピューティングによる神経フィルタリングは、センサ材料が課す根本的SNR限界を超えて、画像センサーからの信号を回復できるか？
• RQ2 ESN、R-CNN、HTMを統合したハイブリッドニューラルアーキテクチャは、動画ストリームにおいてリアルタイムでの検出、空間的パラメータ抽出、運動予測を可能にするか？
• RQ3 CMOSおよび新規ナノ材料（例：スピントロニクスデバイス）を用いて、埋め込み型スマートカメラ用途に適した、ハードウェア効率的かつエネルギー・コンパクトな神経処理ユニットをどのように設計できるか？
• RQ4 調整可能なエネルギー障壁を有する磁気トンネル接合の物理的特性は、ディープラーニングワークロードに適した確率的で低消費電力なニューラル計算をどの程度サポートできるか？

主な発見

• ESNを用いた神経フィルタリングにより、時間変動する歪みを学習・逆転させることで、センサ材料の根本的限界を超えて画像のSNRとD*を向上させることに成功した。
• 強化されたR-CNNは、位置（x,y）、サイズ（h,w）、方位（θ, φx, φy）という標準的な変数を正確に抽出し、特徴の堅牢な同定を可能にした。
• HTMを用いた時系列推論は、空間的・時間的相関をモデル化することで、特徴の運動軌道をリアルタイムに学習・予測し、短期間の運動予測を実現した。
• 調整可能なエネルギー障壁（U = M_s·H_k·Ω/2）を有するスピントロニクスベースの確率的ニューロンは、ハードウェアに適合する非線形活性化関数と確率性を実現し、状態保持時間（τ）をU/kTで制御可能であった。
• プログラマブルなメモリスティスと金属的リードを用いたハイブリッドクロスバー構造により、大規模ニューラルネットワーク向けに、シナプス重みおよびニューロンアレイのコンactかつスケーラブルな実装が可能になった。
• 提案されたプラットフォームは、CMOSおよび新規材料を用いて、画像センサーの近接に認知的処理を埋め込む可能性を実証し、超コンactかつ低消費電力なスマートカメラシステムの実現を可能にした。