[論文レビュー] Distributed On-Sensor Compute System for AR/VR Devices: A Semi-Analytical Simulation Framework for Power Estimation

Jorge Marx Gómez, Saavan Patel+9 more|arXiv (Cornell University)|Mar 14, 2022

Advanced Memory and Neural Computing被引用数 12

ひとこと要約

本論文は、AR/VRデバイスの分散型センサ内コンピューティングアーキテクチャにおける電力消費を最適化するための準解析的シミュレーションフレームワークを提案する。3D-ICインターコネクト、STT-MRAM、プロセッサ-メモリ分割を含むハードウェアコンponentsを共同最適化することで、データ移動を最小限に抑え、センサ内推論を活用することで、手の追跡ワークロードにおいて最大24％のシステム電力削減を実証した。

ABSTRACT

Augmented Reality/Virtual Reality (AR/VR) glasses are widely foreseen as the next generation computing platform. AR/VR glasses are a complex "system of systems" which must satisfy stringent form factor, computing-, power- and thermal- requirements. In this paper, we will show that a novel distributed on-sensor compute architecture, coupled with new semiconductor technologies (such as dense 3D-IC interconnects and Spin-Transfer Torque Magneto Random Access Memory, STT-MRAM) and, most importantly, a full hardware-software co-optimization are the solutions to achieve attractive and socially acceptable AR/VR glasses. To this end, we developed a semi-analytical simulation framework to estimate the power consumption of novel AR/VR distributed on-sensor computing architectures. The model allows the optimization of the main technological features of the system modules, as well as the computer-vision algorithm partition strategy across the distributed compute architecture. We show that, in the case of the compute-intensive machine learning based Hand Tracking algorithm, the distributed on-sensor compute architecture can reduce the system power consumption compared to a centralized system, with the additional benefits in terms of latency and privacy.

研究の動機と目的

• AR/VRグラスの電力、熱、フォームファクタ制約に対処し、センサ内AI処理を可能にする。
• MIPIデータ伝送に起因する通信コストと電力コストが高くなる中央集権的処理の限界を克服する。
• センサ、プロセッサ、メモリ、インターフェースを横断するシステムレベルのトレードオフをモデル化することで、AR/VRワークロードにおけるハードウェア-ソフトウェア共同設計を可能にする。
• システム電力を最小限に抑えつつ、低遅延性とプライバシーを維持するため、センサ内プロセッサと集約器間でのワークロード分割を最適化する。
• 3D-IC、μTSV、STT-MRAMなどの新技術がシステムレベルの電力効率に与える影響を評価する。

提案手法

• カメラ、MIPIインターフェース、センサ内プロセッサ、メモリを含むすべてのシステムモジュールの電力消費をモデル化する準解析的シミュレーションフレームワークを開発する。
• 電力推定の正確性を確保するため、シリコンキャリブレーション済みのイベントベースシミュレータ（GVSoC）を用いて計算およびメモリパラメータをキャリブレーションする。
• センサ内プロセッサが高帯域幅で低エネルギーなμTSVインターコネクトを通じてイメージセンサに接続された分散型センサ内コンピューティングアーキテクチャをモデル化する。
• 活性化メモリにSRAM、重みメモリにSTT-MRAMを組み合わせたハイブリッドメモリ階層を実装し、リーク電力を低減するとともに、密度を向上させる。
• 2段階の手の追跡ニューラルネットワーク（DetNetとKeyNet）のワークロード分割をシミュレートし、DetNetをセンサ内で実行、KeyNetを集約器で実行する。
• 異なるノードサイズ（例：16nm対7nm）およびメモリ技術を変更しながら、中央集権的システムと分散型システムを比較することで、電力削減を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 分散型センサ内コンピューティングは、中央集権的アーキテクチャと比較して、AR/VRワークロードにおけるシステム電力消費をどの程度削減できるか？
• RQ2 通信インターフェース（MIPI 対 μTSV）は、特にデータ集約的なアプリケーションにおいて、全体のシステム電力にどのように影響を与えるか？
• RQ3 センサ内メモリ階層においてSRAMの代わりにSTT-MRAMを使用した場合、電力および面積効率にどのような影響を与えるか？
• RQ4 センサ内プロセッサのプロセスノード（例：16nm 対 7nm）は、分散アーキテクチャにおけるシステムレベルの電力削減にどのように影響を与えるか？
• RQ5 2段階のニューラルネットワーク（例：手の追跡）をセンサ内処理とオフセンサ処理の間に最適に分割する戦略は何か？ その目的はシステム電力を最小限に抑えることである。

主な発見

• 手の追跡ワークロードにおいて、分散型センサ内コンピューティングアーキテクチャは、中央集権的システムと比較して総合的なシステム電力を24％削減した。
• 7nmの集約器とは対照的に、やや進化度の低い16nmのセンサ内プロセッサを採用しても、MIPIおよびカメラの電力消費が削減されるため、16％の電力削減が達成された。
• 高帯域幅のμTSVインターコネクトにより、センサ内処理が可能になり、デジタルリードアウト時間を短縮することで、低消費電力スタンバイモードの継続時間が延長された。
• 重み記憶にSTT-MRAMを用いることで、SRAMと比較してリーク電力が著しく低減したため、センサ内メモリ電力が39％削減された。
• STT-MRAMはSRAMに比べて2倍のメモリ密度を実現し、センサ内フォームファクタの向上と面積フットプリントの縮小を可能にした。
• 重みの重複保存による総メモリエネルギーのわずかな増加にもかかわらず、データ移動および通信コストの削減により、全体のシステム電力は顕著に削減された。