[論文レビュー] ASP Vision: Optically Computing the First Layer of Convolutional Neural Networks using Angle Sensitive Pixels

Huaijin Chen, Suren Jayasuriya+5 more|arXiv (Cornell University)|May 11, 2016

Advanced Memory and Neural Computing参考文献 42被引用数 10

ひとこと要約

本稿では、生体模倣的Angle Sensitive Pixels (ASPs) を用いて畳み込みニューラルネットワーク (CNN) の最初の畳み込み層を光学的に計算する、エネルギー効率に優れたイメージングシステムであるASP Visionを提案する。従来の画像センサをエッジ特徴を直接抽出するASPsに置き換えることで、センサの消費電力、データ帯域幅、およびその後続のCNNのFLOPSを低減し、実機プロトタイプの結果から、数字認識および顔認識タスクにおいてベースラインに近い精度を達成した。

ABSTRACT

Deep learning using convolutional neural networks (CNNs) is quickly becoming the state-of-the-art for challenging computer vision applications. However, deep learning's power consumption and bandwidth requirements currently limit its application in embedded and mobile systems with tight energy budgets. In this paper, we explore the energy savings of optically computing the first layer of CNNs. To do so, we utilize bio-inspired Angle Sensitive Pixels (ASPs), custom CMOS diffractive image sensors which act similar to Gabor filter banks in the V1 layer of the human visual cortex. ASPs replace both image sensing and the first layer of a conventional CNN by directly performing optical edge filtering, saving sensing energy, data bandwidth, and CNN FLOPS to compute. Our experimental results (both on synthetic data and a hardware prototype) for a variety of vision tasks such as digit recognition, object recognition, and face identification demonstrate using ASPs while achieving similar performance compared to traditional deep learning pipelines.

研究の動機と目的

• 埋め込み型およびモバイルビジョンシステムにおける従来のCNNの高い消費電力と帯域幅のボトルネックを解消すること。
• 従来の画像センサをエネルギー効率の高いAngle Sensitive Pixels (ASPs) に置き換えることで、画像センシングおよびデータ送信のエネルギー使用量を低減すること。
• ASPsを用いてCNNの最初の層を光学的に計算することで、下流の計算負荷とFLOPSを最小限に抑えること。
• 実機ハードウェアを用いて、数字認識や顔認識などのビジョンタスクにおけるASP Visionシステムの実現可能性と性能を実証すること。

提案手法

• Gaborに類似したインパulse応答を有する、カスタムCMOS回折型画像センサであるAngle Sensitive Pixels (ASPs) を用い、人間の視覚皮質のV1層に類似した光学的エッジフィルタリングを実行する。
• 従来の画像センシングと最初のCNN層を、ASPsを用いた1つの光学的計算ステージに置き換え、直接エッジフィルタド応答を出力する。
• 180nm CMOSプロセスでプロトタイピングされた64×96解像度のASPsセンサ（10µmピクセルの4×6タイル）を、Nikon F1.2レンズと組み合わせて、実世界のイメージングを実現するハードウェアプロトタイプを設計した。
• 合成データおよび実データからのASPsによるエッジ応答を用いて、標準CNN（LeNet, NiN）を学習・評価し、耐性を高めるためにデータ拡張を適用した。
• センサの消費電力、データ送信、FLOPSの削減に注目して、ASPsビジョンと従来のパイプラインを比較することで、エネルギーと帯域幅の節約を分析した。
• 固定パターンノイズの差し引きなどのノイズ低減技術を実装し、将来の改善策として相関二重サンプリングや産業用CMOSプロセスの導入を検討した。

実験結果

リサーチクエスチョン

• RQ1 Angle Sensitive Pixels (ASPs) は、光学的計算によってCNNの最初の層の特徴抽出を効果的に再現できるか？
• RQ2 ASPsを用いた光学的計算は、埋め込み型ビジョンシステムにおけるセンサの消費電力とデータ帯域幅をどの程度低減できるか？
• RQ3 ASPsによって生成されたエッジ応答で学習したCNNの性能は、従来の画像データで学習した場合と実世界のタスクにおいて比較してどの程度か？
• RQ4 ノイズ、解像度、光効率の観点から、現在のASPsプロトタイプの実用的限界は何か？ そして、それらが認識精度にどのように影響するか？

主な発見

• MNISTデータセットでは、データ拡張を適用した場合、ASPsビジョンは94.61%の精度を達成した。これは、ベースラインのLeNetの95.22%にほぼ並ぶ性能であった。
• 顔認識タスクでは、データ拡張を適用したASPsビジョンが94.18%の精度を達成し、拡張データセット上で学習したNiNのベースライン精度94.73%と同等であった。
• データ拡張なしでは、MNISTで86.7%、顔認識で82.87%の精度を達成し、5–10%の性能ギャップが生じたが、拡張によりこのギャップは解消された。
• ハードウェアプロトタイプは、高いノイズと限られた画像忠実度にもかかわらず、ASPsからの実際のエッジ応答が高精度なビジョン認識に十分であることを示した。
• エッジ応答のみを符号化することで、センサの消費電力とデータ帯域幅を顕著に削減し、CPUへの高帯域幅データ転送の必要性を低減した。
• プロトタイプの性能は、読み出し回路由来のノイズと産業用でないプロセスによる制限要因に起因していたが、将来的な回路設計とプロセス技術の向上により、忠実度と効率が著しく向上する可能性がある。