[論文レビュー] AI Tax: The Hidden Cost of AI Data Center Applications

Daniel Richins, Dharmisha Doshi+10 more|arXiv (Cornell University)|Jul 21, 2020

CCD and CMOS Imaging Sensors参考文献 22被引用数 5

ひとこと要約

本論文では、AI中心のエッジデータセンター応用における前処理および後処理に伴う隠れた計算、ストレージ、ネットワークのオーバーヘッド（いわゆる「AI税」）の概念を導入する。オープンソースツールおよびAIアクセラレータを用いてリアルタイムの顔認識システムを実装した結果、これらの非推論ワークロードが顕著なボトルネックを引き起こし、目的に特化した異種エッジデータセンターを採用した場合、均一なサーバー構成と比較して総所有コスト（TCO）が15%低くなることが示された。

ABSTRACT

Artificial intelligence and machine learning are experiencing widespread adoption in industry and academia. This has been driven by rapid advances in the applications and accuracy of AI through increasingly complex algorithms and models; this, in turn, has spurred research into specialized hardware AI accelerators. Given the rapid pace of advances, it is easy to forget that they are often developed and evaluated in a vacuum without considering the full application environment. This paper emphasizes the need for a holistic, end-to-end analysis of AI workloads and reveals the "AI tax." We deploy and characterize Face Recognition in an edge data center. The application is an AI-centric edge video analytics application built using popular open source infrastructure and ML tools. Despite using state-of-the-art AI and ML algorithms, the application relies heavily on pre-and post-processing code. As AI-centric applications benefit from the acceleration promised by accelerators, we find they impose stresses on the hardware and software infrastructure: storage and network bandwidth become major bottlenecks with increasing AI acceleration. By specializing for AI applications, we show that a purpose-built edge data center can be designed for the stresses of accelerated AI at 15% lower TCO than one derived from homogeneous servers and infrastructure.

研究の動機と目的

• AIワークロードにおける前処理および後処理によって生じる、しばしば無視されがちなパフォーマンスおよびコストのオーバーヘッドを明らかにすること。
• AIアクセラレータが単にシステムレベルのボトルネックを解消しないこと、特にストレージおよびネットワークI/Oにおいて顕著であることを示すこと。
• AIカーネルのパフォーマンスのみを測定するのではなく、アプリケーション全体のパイプラインを捉えるエンドツーエンドのベンチマーキングを提唱すること。
• AIワークロードにおいて、目的に特化した異種エッジデータセンターが、均一なサーバー構成と比較して15%のTCO低減を達成できることを示すこと。
• ストリーミングAIアプリケーションにおいて、Apache Kafkaのような通信フレームワークが遅延およびリソース競合を引き起こす役割を強調すること。

提案手法

• エッジデータセンター環境で、FaceNetモデルを用いた実世界のオープンソース顔認識アプリケーションを展開した。
• 最先端のAIアクセラレータを用い、パイプラインの全段階におけるエンドツーエンドの遅延およびシステムスルーレートを測定した。
• データインジェスト、前処理、モデル推論、後処理、およびコンponent間通信を含む、アプリケーションスタック全体を特徴づけた。
• ストリーミングワークロードの通信基盤としてApache Kafkaを用い、ネットワークおよびストレージI/Oのボトルネックを分析した。
• AIワークロード最適化を目的とした、異種ハードウェア（CPU、GPU、AIアクセラレータ）を組み合わせた目的に特化したエッジデータセンターを設計・評価した。
• 同一のAIワークロード条件下で、均一なサーバークラスタと目的に特化したエッジデータセンターのTCOを比較した。

実験結果

リサーチクエスチョン

• RQ1 AIカーネル計算以外のエンドツーエンドAI推論パイプラインにおける主な遅延およびリソースオーバーヘッドの原因は何か？
• RQ2 前処理および後処理段階は、AI中心のアプリケーションにおいて、システム全体のパフォーマンスおよびインfraストラクチャコストにどのように影響を与えるか？
• RQ3 AIアクセラレーションが進むエッジデータセンターにおいて、ストレージおよびネットワークI/Oがボトルネックとして顕在する程度はどの程度か？
• RQ4 目的に特化した異種エッジデータセンターは、均一なサーバー基盤の展開と比較して、AIワークロードにおいて総所有コスト（TCO）を低く抑えることができるか？
• RQ5 標準的な通信フレームワーク（例：Apache Kafka）を用いることで、ストリーミングAIアプリケーションにおけるエンドツーエンドの遅延およびリソース利用効率にどのような影響を与えるか？

主な発見

• 前処理および後処理段階は、合計リクエスト遅延の大部分を占めており、CPU依存が顕著であるため、AIアクセラレーションがあっても主要なパフォーマンスボトルネックとなっている。
• ストレージおよびネットワーク帯域幅が、特に高スルーレートのストリーミング条件下で、AIアクセラレートドワークロードにおける主なボトルネックとして顕在する。
• 通信基盤としてApache Kafkaを用いることで、明確なブローカー待機時間が生じ、特に高負荷条件下でシステム遅延が増加する。
• 高性能なAIアクセラレータを導入しても、全体のシステムスルーレートは非AIコンponentによって制限されるため、「AI税」の存在が裏付けられた。
• 目的に特化した異種エッジデータセンターは、同じAIワークロードにおいて、均一なサーバー基盤の展開と比較して、総所有コスト（TCO）を15%低減できる。
• ベンチマークがAIカーネルのパフォーマンスのみに焦点を当てる場合、エンドツーエンドのアプリケーションパフォーマンスは著しく低く見積もられるため、包括的でフルスタックな評価の必要性が浮き彫りになった。