[論文レビュー] Euphrates: Algorithm-SoC Co-Design for Low-Power Mobile Continuous Vision

Yuhao Zhu, Anand Samajdar+2 more|arXiv (Cornell University)|Mar 29, 2018

CCD and CMOS Imaging Sensors参考文献 39被引用数 10

ひとこと要約

Euphratesは、ISPからの動きベクトルを活用して、連続的なモバイルビジョンにおけるCNN推論周波数を低減するアルゴリズム-SoC共同設計フレームワークを提案する。これにより、システム全体で最大66%のエネルギー効率向上と、1%未満の精度損失でビジョン計算を4倍削減可能であり、専用の動き制御ハードウェアIPによりCPUフリーで常にオンの動作を実現する。

ABSTRACT

Continuous computer vision (CV) tasks increasingly rely on convolutional neural networks (CNN). However, CNNs have massive compute demands that far exceed the performance and energy constraints of mobile devices. In this paper, we propose and develop an algorithm-architecture co-designed system, Euphrates, that simultaneously improves the energy-efficiency and performance of continuous vision tasks. Our key observation is that changes in pixel data between consecutive frames represents visual motion. We first propose an algorithm that leverages this motion information to relax the number of expensive CNN inferences required by continuous vision applications. We co-design a mobile System-on-a-Chip (SoC) architecture to maximize the efficiency of the new algorithm. The key to our architectural augmentation is to co-optimize different SoC IP blocks in the vision pipeline collectively. Specifically, we propose to expose the motion data that is naturally generated by the Image Signal Processor (ISP) early in the vision pipeline to the CNN engine. Measurement and synthesis results show that Euphrates achieves up to 66% SoC-level energy savings (4 times for the vision computations), with only 1% accuracy loss.

研究の動機と目的

• モバイルデバイスにおけるCNNベースの連続ビジョンの高エネルギーおよび高計算要求を解決すること。
• リアルタイム動画処理における頻繁なCNN推論に依存しないことで、エネルギー効率を向上させること。
• ISPから自然に生成される動きデータを活用し、追加の計算オーバーヘッドを最小限に抑えること。
• 常にオンで動作可能なCPUフリーのビジョン処理を実現する、ハードウェア・ソフトウェア共同設計のシステムを設計すること。
• 精度を損なわず、顕著なエネルギー節約とパフォーマンス向上を達成すること。

提案手法

• 連続する動画フレーム間の時間的動きを、CNN推論周波数を低減するためのシグナルとして活用する。
• ビジョンパイプラインの初期段階でISPが生成する動きベクトルをCNNエンジンに早期公開し、動きに基づく予測を実現する。
• CPUの干渉なしに、自律的にビジョンタスクをシーケンスし、動きの外挿法を実行する、動き制御ハードウェアIPを導入する。
• ISP、動き制御ハードウェア、CNNアクセラレータといった複数のSoC IPブロックを共同最適化し、最大のエネルギー効率を達成する。
• 面積と電力オーバーヘッドを最小限に抑えるために、軽量なマイコン型ユニットとして動き制御ハードウェアを設計する。
• 商用モバイルSoCモデルを用いたRTL合成と実機測定を実施し、システムを実装・検証する。

実験結果

リサーチクエスチョン

• RQ1 ISPによって自然に生成される動き情報は、連続ビジョンにおけるCNN推論周波数の低減に利用可能か？
• RQ2 動きデータは、SoC IPブロック間で効率的に公開・活用され、エネルギー効率の向上に寄与できるか？
• RQ3 ハードウェアの動き制御が、CPU負荷およびシステム全体のエネルギー消費に与える影響は何か？
• RQ4 動きに基づく外挿法は、計算量を削減しつつ、精度をどの程度維持できるか？
• RQ5 アルゴリズム・アーキテクチャ共同最適化は、単独でのアルゴリズム的最適化やアーキテクチャ的最適化と比較して、どのような利点を示すか？

主な発見

• Euphratesは、物体検出において最大66%のシステム全体のエネルギー効率向上と、ビジョン計算エネルギーを4倍削減する。
• ベースラインモデルの99%の精度を維持しており、物体検出タスクではわずか1%の精度損失にとどまる。
• 物体追跡においては、約1%の精度損失で21%のエネルギー節約を達成する。
• 動き制御ハードウェアにより、CPU負荷をほとんど発生させない状態で、常にオンの連続ビジョン処理が可能になる。
• 共同最適化アプローチにより、下位のCNNモデルを変更せずに、動きベクトルを活用して推論周波数を低減できる。
• ISPとCNNアクセラレータの間のIP間連携が、顕著なエネルギー効率向上をもたらすことが実証された。