[論文レビュー] Beyond Human-Level Accuracy: Computational Challenges in Deep Learning

Joel Hestness, Newsha Ardalani+1 more|arXiv (Cornell University)|Sep 3, 2019

Advanced Neural Network Applications参考文献 32被引用数 7

ひとこと要約

この論文は、ディープラーニングで人間水準の正確性に到達するには、データセットを33–971倍、モデルを6.6–456倍に拡大する必要があると予測している。再帰的ニューラルネットワーク（RNNs）は、高いメモリ使用量とやや低い演算強度のため、計算上の特異な課題を抱える。著者らは、RNN学習のボトル neck を解消するため、オンチップキャッシュとメモリ容量を大幅に拡大したハードウェアアクセラレータの開発を提言している。これは、畳み込みネットワークを最適化した現在のアクセラレータ設計とは対照的である。

ABSTRACT

Deep learning (DL) research yields accuracy and product improvements from both model architecture changes and scale: larger data sets and models, and more computation. For hardware design, it is difficult to predict DL model changes. However, recent prior work shows that as dataset sizes grow, DL model accuracy and model size grow predictably. This paper leverages the prior work to project the dataset and model size growth required to advance DL accuracy beyond human-level, to frontier targets defined by machine learning experts. Datasets will need to grow $33$--$971 imes$, while models will need to grow $6.6$--$456 imes$ to achieve target accuracies. We further characterize and project the computational requirements to train these applications at scale. Our characterization reveals an important segmentation of DL training challenges for recurrent neural networks (RNNs) that contrasts with prior studies of deep convolutional networks. RNNs will have comparatively moderate operational intensities and very large memory footprint requirements. In contrast to emerging accelerator designs, large-scale RNN training characteristics suggest designs with significantly larger memory capacity and on-chip caches.

研究の動機と目的

• 主要ドメインにおけるディープラーニングで人間水準の正確性に到達するためのデータセットおよびモデルサイズの拡大を予測すること。
• 特にRNNを含む大規模ディープラーニングモデルの学習に必要な計算およびメモリ要件を特徴づけること。
• RNNと畳み込みニューラルネットワーク（CNNs）の間で学習の課題に顕著な分岐が生じることを特定すること。
• スケーラブルなRNN学習を支援するため、メモリ容量とオンチップキャッシュを最優先に据えたハードウェア設計を提言すること。
• 現在のアクセラレータ設計のトレンドとは対照的に、計算対メモリ比よりもメモリ容量とキャッシュサイズを重視する設計を是とすること。

提案手法

• Hestnessら（2017）の先行研究におけるパワー則スケーリング法則を活用し、正確性の目標に基づいてデータセットおよびモデルサイズの拡大を予測した。
• 言語モデリング、機械翻訳、音声認識、画像分類の5分野における機械学習の専門家から、最先端の正確性の目標を集めた。
• 計算グラフモデリングと演算強度指標を用いて、CNNsとRNNsを比較する計算要件を分析した。
• 言語モデリングの事例研究を通じて、さまざまな並列化戦略下でのメモリ使用量とFLOP利用効率を定量的に評価した。
• モデル蒸留、低精度計算、スパース計算などのアルゴリズム最適化を評価し、メモリ要件の低減を検討した。
• オンチップキャッシュの拡大とメモリ容量の増加を含む、ハードウェア設計の転換を提言した。

実験結果

リサーチクエスチョン

• RQ1 主要ドメインにおけるディープラーニングで人間水準の正確性に到達するには、どの程度のデータセットおよびモデルサイズの拡大が必要か？
• RQ2 大規模学習におけるRNNの計算およびメモリ特性は、畳み込みニューラルネットワーク（CNNs）とどのように異なるか？
• RQ3 なぜ現在のアクセラレータ設計は大規模RNN学習に不適切であり、どのようなハードウェア的変更が必要か？
• RQ4 蒸留や低精度計算といったアルゴリズム最適化は、RNNのメモリ使用量をどの程度低減できるか？
• RQ5 データ並列化やモデル並列化といった並列化技術は、RNN学習におけるメモリおよび計算効率にどのように影響するか？

主な発見

• ディープラーニングで人間水準の正確性に到達するには、現在の最先端モデルと比較して、データセットサイズが33–971倍、モデルパラメータが6.6–456倍に拡大する必要がある。
• RNNは中程度の演算強度を示し、現在のアクセラレータのメモリ容量（16–32 GB）と比較して、8–100倍の大きなメモリ使用量を要する。
• 高い計算対メモリ比を最適化した現在のハードウェアアクセラレータは、メモリ容量とオンチップキャッシュの不足により、RNN学習に不適切である。
• モデル蒸留や低精度計算といったアルゴリズム最適化は、メモリ要件を1.5–10倍まで低減できるが、学習中は限界がある。
• データ並列化やモデル並列化技術は、アクセラレータごとのメモリ使用量を低減できるが、入力のリストリーミングに起因する高い通信オーバーヘッドと、FLOP利用効率の低さにより、RNNは依然として課題を抱える。
• RNN学習を効率的にスケーリングするには、顕著に大きなオンチップキャッシュとメモリ容量を備えたハードウェア設計が不可欠であり、これは現在のアクセラレータのトレンドとは対照的である。