[論文レビュー] How deep the machine learning can be

János Végh|arXiv (Cornell University)|May 2, 2020

Parallel Computing and Optimization Techniques参考文献 4被引用数 4

ひとこと要約

この論文は、極端な並列化下でのディープラーニングシステムの根本的性能限界を調査し、通信オーバーヘッドとアーキテクチャの非効率性—特にプロセッサとメモリ間のデータ移動—が、ハードウェア規模の拡大にもかかわらず計算効率を顕著に低下させることを明らかにした。GPUのような先進的なハードウェアを用いても、データコピーなどの非並列化部品のため、効率が低下し、高性能AIシステムにおける線形スケーラビリティの仮定が揺らぐことが示された。

ABSTRACT

Today we live in the age of artificial intelligence and machine learning; from small startups to HW or SW giants, everyone wants to build machine intelligence chips, applications. The task, however, is hard: not only because of the size of the problem: the technology one can utilize (and the paradigm it is based upon) strongly degrades the chances to succeed efficiently. Today the single-processor performance practically reached the limits the laws of nature enable. The only feasible way to achieve the needed high computing performance seems to be parallelizing many sequentially working units. The laws of the (massively) parallelized computing, however, are different from those experienced in connection with assembling and utilizing systems comprising just-a-few single processors. As machine learning is mostly based on the conventional computing (processors), we scrutinize the (known, but somewhat faded) laws of the parallel computing, concerning AI. This paper attempts to review some of the caveats, especially concerning scaling the computing performance of the AI solutions.

研究の動機と目的

• 極端な並列化下でのディープラーニングシステムのスケーラビリティ制限を分析すること。
• 大規模AIハードウェアにおける性能劣化の根本的原因、特に通信および同期オーバーヘッドを特定すること。
• GPUやアクセラレータを含む現代の高性能コンピューティングアーキテクチャが、実世界のAIワークロードにおいてどの程度の効果を発揮するかを評価すること。
• ハードウェアリソースの増加にもかかわらずAIシステムにおける線形スケーリングの仮定が成り立たない理由を挑戦すること。
• スーパーコンピューターやAIハードウェアにおける理論的性能と実際のパフォーマンス効率のギャップを強調すること。

提案手法

• Amdahlの法則とGustafsonの法則を用いて、並列計算の理論的および実用的限界をモデル化し、パフォーマンススケーリングを分析する。
• 分散並列処理を計算、通信、同期の各コンponentsを有するシステムとしてモデル化し、それらが全体の効率に与える影響を定量化する。
• 実世界のスーパーコンピュータのデータ（例：Piz Daint）を用いて、予測されたパフォーマンスと実際のパフォーマンス、および世代ごとの効率を比較する。
• 半精度（例：half-precision）を用いることで通信対計算比と全体のシステム効率に与える影響を評価する。
• 効率面モデルを用いて、GPU統合などのアーキテクチャ変更がパフォーマンスと効率に与える影響を可視化する。
• 非アクセラレートおよびGPUアクセラレートされた構成を比較し、データ移動およびメモリ階層の影響を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 数千のプロセッサにスケーリングされたディープラーニングシステムの根本的性能限界は何か？
• RQ2 AIワークロードにおいてプロセッサ数を増やしてもパフォーマンスが線形にスケールしない理由は何か？
• RQ3 メモリとプロセッサ間のデータ移動がAIシステムの有効パフォーマンスにどのように影響するか？
• RQ4 GPUなどのハードウェアアクセラレータは、実世界のAIパフォーマンスをどの程度向上させるか。また、その背後にある隠れたコストは何か？
• RQ5 浮動小数点精度を低減することで、通信対計算比とシステム効率にどのような影響が生じるか？

主な発見

• Piz Daintのパフォーマンスペイロードは、GPU統合後、わずかな名目上の性能向上にもかかわらず、およそ3倍に増加した。これは、顕著な効率の向上を示している。
• GPUの導入により有効効率が向上したが、ホストメモリとデバイスメモリ間のデータコピーにより、非並列化成分（1−αeff）も増加した。
• GPUのメモリ容量を拡大した場合、性能向上は長時間のデータ転送時間によって相殺され、(1−αeff)と全体の効率が低下した。
• 半精度演算を用いることで計算時間が4倍短縮されたが、通信時間は変化しなかったため、通信対計算比が上昇し、相対的効率が低下した。
• 大規模システムのパフォーマンスは、単一プロセッサの限界だけでなく、Amdahlの法則が予測するように、並列化そのものの固有の限界によって制限されている。
• 本論文は、順序的でクロック駆動のプロセッサに基づく古典的コンピューティングパラダイムが、極めてスケールが大きい状況においても、脳のような生物的システムを効率的にエミュレートできないと結論づけた。