[論文レビュー] Channel Tiling for Improved Performance and Accuracy of Optical Neural Network Accelerators

Shurui Li, Mario Miscuglio+2 more|arXiv (Cornell University)|Nov 14, 2020

Neural Networks and Reservoir Computing参考文献 34被引用数 5

ひとこと要約

本稿では、4F光学ニューラルネットワークアクセラレータにおけるチャネルタイリングを提案し、複数チャネルの畳み込み出力の内在的光学ドメインでの蓄積を可能にすることで、電子的後処理の必要性を排除する。4Fシステムの高分解能を活用して、センサー検出の前に複数のチャネル出力を光的に合算することで、追加の光学ハードウェアを用いずに、スループットを10–50倍向上させ、カメラ解像度要件を3倍低減し、感度精度の許容誤差を33%向上させた。

ABSTRACT

Low latency, high throughput inference on Convolution Neural Networks (CNNs) remains a challenge, especially for applications requiring large input or large kernel sizes. 4F optics provides a solution to accelerate CNNs by converting convolutions into Fourier-domain point-wise multiplications that are computationally 'free' in optical domain. However, existing 4F CNN systems suffer from the all-positive sensor readout issue which makes the implementation of a multi-channel, multi-layer CNN not scalable or even impractical. In this paper we propose a simple channel tiling scheme for 4F CNN systems that utilizes the high resolution of 4F system to perform channel summation inherently in optical domain before sensor detection, so the outputs of different channels can be correctly accumulated. Compared to state of the art, channel tiling gives similar accuracy, significantly better robustness to sensing quantization (33\% improvement in required sensing precision) error and noise (10dB reduction in tolerable sensing noise), 0.5X total filters required, 10-50X+ throughput improvement and as much as 3X reduction in required output camera resolution/bandwidth. Not requiring any additional optical hardware, the proposed channel tiling approach addresses an important throughput and precision bottleneck of high-speed, massively-parallel optical 4F computing systems.

研究の動機と目的

• 全正のセンサー読み出し問題に起因する4F光学CNNアクセラレータのスケーラビリティと精度のボトルネックを解消すること。
• 追加の光学ハードウェアを必要とせずに、マルチチャネル・マルチレイヤーCNN推論を可能にすること。
• 感度量子化誤差および光検出ノイズに対するシステムのロバストネスを向上させること。
• 4Fシステムにおける主要なボトル neck である出力カメラの解像度および帯域幅要件を低減すること。
• 効率的なタイリング戦略により、4Fシステムの巨大な並列処理能力を最大限に活用すること。

提案手法

• フーリエ面に畳み込みフィルタ出力を空間的に配置するチャネルタイリング方式を提案し、光検出の前に光学ドメインでのチャネル応答の合算を可能にする。
• 4Fシステムの高い空間分解能を活用して、複数のチャネル出力を1つの光場に凝集させ、検出時に自然な合算を実現する。
• 入力またはフィルタのタイリングと統合することで、利用可能な並列処理を完全に活用し、システム効率を10–50倍向上させる。
• カメラの非線形性を活用して活性化関数を暗黙的に適用することで、複雑な光学的符号保存技術を回避し、負の重みを持つフィルタを可能にする。
• SLMとカメラ間の高速I/O同期を実現するため、FPGAを用いたシステムレベルインターフェースを設計し、リアルタイムプログラマブルな4F動作を可能にする。
• ネットワークの微調整時にシステムの非理想性を補償できる、トレーニング互換のシミュレーションモデルを開発する。

実験結果

リサーチクエスチョン

• RQ1 4Fシステムにおける光学ドメインでのチャネル合算は、複数チャネル出力の電子的後処理を不要にするか？
• RQ2 チャネルタイリングは、従来の手法と比較して、感度量子化誤差および光検出ノイズに対するロバストネスをどの程度向上させるか？
• RQ3 正確性を損なわせることなく、チャネルタイリングは出力カメラの解像度および帯域幅要件をどの程度低減できるか？
• RQ4 4F CNNアクセラレータにおいて、チャネルタイリングと擬似負の手法の性能と正確性のトレードオフはいかなるものか？
• RQ5 チャネルタイリングは、特に高解像度入力において、大規模なフィルタサイズの効率的利用を可能にするか？

主な発見

• チャネルタイリングは、最先端の手法と比較して、感度量子化誤差に対するロバストネスを33%向上させ、必要な感度精度を低減した。
• 許容可能な感度ノイズを10 dB低減し、光検出ノイズに対するシステムの耐性を顕著に向上させた。
• 追加の光学ハードウェアを用いずに、既存の手法と比較して10–50倍のスループット向上を達成した。
• 出力カメラの解像度および帯域幅要件を最低3倍低減し、4Fシステムにおける主要なボトル neck を緩和した。
• CIFAR-10データセットとVGG16を用いた実験では、他のタイリング手法と比較して、正確性が36パーセンテージポイント向上した。
• ノイズおよび量子化への耐性が向上したため、より高速な動作が可能な低ビット深度のカメラを活用可能にした。