[論文レビュー] Graphcore C2 Card performance for image-based deep learning application: A Report

Ilyes Kacher, Maxime Portaz+2 more|arXiv (Cornell University)|Feb 26, 2020

Advanced Neural Network Applications参考文献 9被引用数 7

ひとこと要約

本論文では、ResNeXt101モデルを用いて、画像ベースのディープラーニング推論におけるGraphcore C2カードの性能を評価している。Poplar SDKおよびPopARTランタイムを用い、混合精度で2つのIPUプロセッサを並列に利用することで、C2カードはバッチサイズ12の時点で最小遅延1.36 ms、ピークスループット2,526.35枚/秒を達成し、エネルギー効率は9.68枚/秒/ワットでピークに達した。

ABSTRACT

Recently, Graphcore has introduced an IPU Processor for accelerating machine learning applications. The architecture of the processor has been designed to achieve state of the art performance on current machine intelligence models for both training and inference. In this paper, we report on a benchmark in which we have evaluated the performance of IPU processors on deep neural networks for inference. We focus on deep vision models such as ResNeXt. We report the observed latency, throughput and energy efficiency.

研究の動機と目的

• リアルタイムの画像ベースのディープラーニング推論におけるGraphcore C2カードの性能を評価すること。
• ResNeXt101のような大規模なビジョンモデルにおけるIPUプロセッサの遅延、スループット、エネルギー効率を測定すること。
• バッチサイズの変更がシステムの性能と効率に与える影響を評価すること。
• C2カードが生産規模で低遅延を要するアプリケーションに適しているかどうかを検討すること。

提案手法

• ベンチマークは、2つのIPUプロセッサを備えた1枚のGraphcore C2カードを用い、それぞれが別個の推論セッションを並列で処理した。
• ResNeXt101モデルはPyTorchからONNX形式にエクスポートされ、PopART（Poplar SDKのグラフランタイム）を介して実行された。
• 性能と効率の向上を図るために、IPU固有の最適化を活用した混合精度推論が採用された。
• 遅延、スループット、エネルギー効率を、バッチサイズ2から12の範囲で測定した。電力消費はgc-monitorを用いて監視された。
• スループットは枚/秒、エネルギー効率は平均電力測定値に基づき、枚/秒/ワットとして計算された。
• 実装にはCOCO検証セットの10,000枚の画像が使用され、各IPUは1～6のマイクロバッチを処理した。

実験結果

リサーチクエスチョン

• RQ1 バッチサイズを変化させた場合、ResNeXt101推論におけるGraphcore C2カードで達成可能な最小遅延は何か？
• RQ2 C2カードの異なるバッチサイズにおけるスループットとエネルギー効率はどの程度か？
• RQ3 バッチサイズの増加に伴い、C2カードの性能（遅延およびエネルギー効率）はどのようにスケーリングするか？
• RQ4 C2カードは、リアルタイムで低遅延を要する推論ワークロードを高い性能と効率で維持できるか？

主な発見

• バッチサイズ2で最小遅延1.36 msを達成し、リアルタイムアプリケーションに適した高い応答性を示した。
• バッチサイズ12でピークスループット2,526.35枚/秒を達成し、負荷下での高いスケーラビリティを示した。
• バッチサイズ10でエネルギー効率が9.68枚/秒/ワットでピークに達し、大きなバッチサイズで最適な電力効率を示した。
• バッチサイズ8以降、1秒あたりの枚数/ワット比が安定しており、高スループット設定でも一貫した効率性を維持した。
• バッチサイズ8から12にかけて、エネルギー消費の増加が最小限に抑えられ、スループット最適化ワークロードに適した性能を示した。
• ハードウェアおよびSDKは、パイプラインによるモデル並列処理を効率的にサポートしており、単一IPUのメモリ容量を超える大きなモデルのデプロイが可能である。