[論文レビュー] LIRS: Enabling efficient machine learning on NVM-based storage via a lightweight implementation of random shuffling

Zhi-Lin Ke, Hsiang-Yun Cheng+1 more|arXiv (Cornell University)|Oct 10, 2018

Advanced Neural Network Applications参考文献 25被引用数 8

ひとこと要約

LIRS は、非揮発性メモリ（NVM）ベースのストレージ上で機械学習を実行する際の軽量でメモリ効率の良いランダムシャッフル手法を提案する。高速なランダム I/O を活用することで、最小限のオーバーヘッドで完全なランダムシャッフルを実現する。インスタンスインデックスをシャッフルし、ストレージから直接データにアクセスすることで、SVM と DNN のトレーニング時間を平均で 49.9% および 43.5% 減少させるとともに、DNN のテスト精度を 1.01% 向上させる。

ABSTRACT

Machine learning algorithms, such as Support Vector Machine (SVM) and Deep Neural Network (DNN), have gained a lot of interests recently. When training a machine learning algorithm, randomly shuffle all the training data can improve the testing accuracy and boost the convergence rate. Nevertheless, realizing training data random shuffling in a real system is not a straightforward process due to the slow random accesses in hard disk drive (HDD). To avoid frequent random disk access, the effect of random shuffling is often limited in existing approaches. With the emerging non-volatile memory-based storage device, such as Intel Optane SSD, which provides fast random accesses, we propose a lightweight implementation of random shuffling (LIRS) to randomly shuffle the indexes of the entire training dataset, and the selected training instances are directly accessed from the storage and packed into batches. Experimental results show that LIRS can reduce the total training time of SVM and DNN by 49.9% and 43.5% on average, and improve the final testing accuracy on DNN by 1.01%.

研究の動機と目的

• 遅いストレージデバイスで I/O を減らすためにランダムネスを犠牲にする既存のシャッフル手法の非効率性を解消すること。
• Intel Optane SSD などの NVM ベースのストレージの高速なランダムアクセス性能を活用して、完全なランダムシャッフルを可能にすること。
• 大容量のメモリバッファを必要とする従来のシャッフル技術と比較して、メモリオーバーヘッドを最小限に抑えること。
• シャッフルのランダムネスを高めることで、SVM および DNN トレーニングにおける収束速度とテスト精度を向上させること。
• 単に高速ストレージにアップグレードするだけでは最適なトレーニングパフォーマンスを達成できないこと、アルゴリズム的改善（LIRS など）の必要性を示すこと。

提案手法

• データそのものではなく、トレーニングデータのインデックス上で動作する軽量なランダムシャッフル機構を提案すること。
• I/O システムコールを用いて、NVM ストレージからシャッフル済みのトレーニングインスタンスを直接アクセスし、メモリ内でのデータ移動を回避すること。
• 特にスパースフォーマットにおいても効率的にシャッフルされたインデックスを物理的ストレージ位置にマッピングするための「Data Format Aware Location Generator」を導入すること。
• トレーニングインスタンスが小さく多数存在する場合にアクセスパターンを最適化する「Page-aware Random Shuffling」を適用すること。
• シャッフル済みインデックスを追跡するための小さなランダムアサインメントテーブル（ImageNet では 9.8MB）を維持し、メモリフットプリントを最小限に抑えること。
• I/O と計算フェーズのオーバーラップを確保することで、特に計算集約型の DNN モデルにおいてローディング遅延を隠ぺいすること。

実験結果

リサーチクエスチョン

• RQ1 機械学習トレーニングにおけるデータシャッフルの度合いが収束速度とテスト精度に与える影響は何か？
• RQ2 高速なランダム I/O を持つ NVM ベースのストレージが、高いメモリコストや I/O コストを伴わずに完全なランダムシャッフルを可能にするか？
• RQ3 HDD、SSD、Optane などのストレージデバイスの I/O 特性が、異なるシャッフル手法を用いた場合のトレーニング時間に与える影響は何か？
• RQ4 軽量なシャッフル手法が、メモリ使用量を増加させることなくトレーニング時間を短縮し、モデル精度を向上させられるか？
• RQ5 HDD をより高速なストレージに置き換えるだけでは最適なトレーニングパフォーマンスを達成できるか、それとも LIRS のようなアルゴリズム的イノベーションが不可欠か？

主な発見

• LIRS は、HDD 上で既存手法と比較して、SVM で平均 49.9%、DNN で 43.5% のトレーニング時間短縮を達成した。
• LIRS は、バッチ内およびバッチ間のランダムネスを高めたことで、DNN のテスト精度を 1.01% 向上させた。
• Optane SSD 上では、LIRS は TFIP よりも AlexNet で 46.15%、OverFeat で 36.90%、VGG16 で 47.56% のトレーニング時間を短縮した。
• LIRS は、ImageNet のサイズの 0.1% よりも小さい 9.8MB の追加メモリ（TFIP の 7.3GB と比較して）でこれらの利点を達成した。
• LIRS のパフォーマンスは、I/O が計算時間で隠ぺいできる閾値を超えると、ストレージ速度の変化にほとんど影響を受けない。
• HDD から Optane SSD に単にアップグレードしても、LIRS がなければ最適なトレーニング時間の改善は得られず、アルゴリズム的イノベーションの必要性が裏付けられた。