[論文レビュー] AI Matrix: A Deep Learning Benchmark for Alibaba Data Centers

Wei Zhang, Wei Wei+3 more|arXiv (Cornell University)|Sep 23, 2019

Advanced Neural Network Applications参考文献 23被引用数 11

ひとこと要約

AI Matrix はアリババのデータセンター向けに開発された包括的なディープラーニングベンチマークスイートであり、コンピュータビジョン、レコメンデーション、自然言語処理分野の実世界の e コマースワークロードを反映している。アリババのインfraストラクチャで 90% の GPU 使用率をカバーしており、ハードウェア選定、パフォーマンス分析、システム最適化を可能にし、20 つのベンチマークのうち 17 つを産業界および研究分野での利用を目的として公開している。

ABSTRACT

Alibaba has China's largest e-commerce platform. To support its diverse businesses, Alibaba has its own large-scale data centers providing the computing foundation for a wide variety of software applications. Among these applications, deep learning (DL) has been playing an important role in delivering services like image recognition, objection detection, text recognition, recommendation, and language processing. To build more efficient data centers that deliver higher performance for these DL applications, it is important to understand their computational needs and use that information to guide the design of future computing infrastructure. An effective way to achieve this is through benchmarks that can fully represent Alibaba's DL applications.

研究の動機と目的

• アリババの大规模な e コマースワークロードに特化した代表的なディープラーニングベンチマークの不足に対処すること。
• アリババのデータセンターにおける実世界の DL アプリケーションの真の計算要件を反映するベンチマークスイートを開発すること。
• 現在の DL システムにおけるパフォーマンスボトルネックを正確に特定することで、将来のハードウェア設計およびソフトウェア最適化を支援すること。
• ハードウェアベンダーや研究者、産業界組織が恩恵を受けることができる公開リソースを提供すること。

提案手法

• アリババの本番システムで実際に使用されている代表的でリアルなディープラーニングモデルを収集し、コンピュータビジョン、レコメンデーション、自然言語処理をカバーする。
• 普及度と計算特性に基づいてモデルを選定し、アリババのデータセンターで 90% を超える GPU 使用率を占めるように保証した。
• NVIDIA V100 GPU を用いて、FLOPs、メモリリード、演算強度、バッチあたりの推論時間といった重要なパフォーマンス指標を測定した。
• 計算およびメモリ利用率を分析するためのルーフラインモデルを構築し、高い演算強度にもかかわらずリソースが低利用となっていることを特定した。
• FP16 や INT8 の低精度推論、FP32/FP16 を組み合わせた混合精度学習、マルチ GPU システムにおける分散学習をサポートするようにベンチマークを設計した。
• GitHub および AI Matrix のウェブサイトを通じて、20 つのベンチマークのうち 17 つを公開し、コミュニティ利用および再現可能性を促進した。

実験結果

リサーチクエスチョン

• RQ1 既存のディープラーニングベンチマークは、アリババの実世界の e コマースワークロードをどれほど代表しているのか？
• RQ2 アリババのデータセンターにおける本番 DL ワークロードの支配的計算特性（例：演算強度、メモリアクセス）は何か？
• RQ3 多くの DL モデルで高い演算強度を示しているにもかかわらず、なぜ GPU コンピューティング利用率が最適でないのか？
• RQ4 大規模データセンターにおける将来のハードウェア・ソフトウェア共同設計を支援するため、本番環境向けベンチマークをどのように設計できるか？
• RQ5 モデルの多様性と規模の変動が、システムレベルのパフォーマンスおよびリソース利用に与える影響は何か？

主な発見

• AI Matrix はアリババのデータセンターで 90% を超える GPU 使用率をカバーしており、本番ワークロードに極めて代表的である。
• 高い演算強度を示しても、特にレコメンデーションおよび NLP 分野の多くのベンチマークでは、GPU コンピューティングリソースの利用が著しく低く抑えられている。
• ルーフラインモデルの分析から、パフォーマンスは、高強度ワークロードでもメモリ帯域幅の制限および非効率なカーネル利用によって制限されていることが明らかになった。
• DIN や Wide & Deep のようなレコメンデーションモデルは、全結合層および埋め込み層に多数のパラメータを有するため、低い演算強度を示している。
• CRNN や SegLink、BERT、NMT といったコンピュータビジョンおよび NLP モデルは、畳み込み層および再帰層のおかげで高い演算強度を示している。
• ベンチマークスイートは公開済み（20 つのモデルのうち 17 つ）、ハードウェアおよびソフトウェア最適化分野における広範な研究および産業利用を可能にしている。