[論文レビュー] When Lempel-Ziv-Welch Meets Machine Learning: A Case Study of Accelerating Machine Learning using Coding.

Fengan Li, Lingjiao Chen+4 more|arXiv (Cornell University)|Feb 22, 2017

Algorithms and Data Compression参考文献 31被引用数 4

ひとこと要約

この論文は、精度を損なうことなく機械学習アルゴリズムの高速化を実現する、Lempel-Ziv-Welch (LZW) コーディングの変種の新しい応用を提案する。MLトレーニングパイプラインに変更されたLZW方式を統合することで、実世界のデータセット上で最大31倍の高速化を達成し、最適化とモデル構造と適切に整合された場合、コーディング技術が機械学習の効率を顕著に向上させられることを示している。

ABSTRACT

In this paper we study the use of coding techniques to accelerate machine learning (ML). Coding techniques, such as prefix codes, have been extensively studied and used to accelerate low-level data processing primitives such as scans in a relational database system. However, there is little work on how to exploit them to accelerate ML algorithms. In fact, applying coding techniques for faster ML faces a unique challenge: one needs to consider both how the codes fit into the optimization algorithm used to train a model, and the interplay between the model structure and the coding scheme. Surprisingly and intriguingly, our study demonstrates that a slight variant of the classical Lempel-Ziv-Welch (LZW) coding scheme is a good fit for several popular ML algorithms, resulting in substantial runtime savings. Comprehensive experiments on several real-world datasets show that our LZW-based ML algorithms exhibit speedups of up to 31x compared to a popular and state-of-the-art ML library, with no changes to ML accuracy, even though the implementations of our LZW variants are not heavily tuned. Thus, our study reveals a new avenue for accelerating ML algorithms using coding techniques and we hope this opens up a new direction for more research.

研究の動機と目的

• コーディング技術、特にプレフィックスコードの観点から、機械学習ワークロードの高速化の可能性を探ること。
• コーディング方式を機械学習最適化アルゴリズムおよびモデル構造と整合させるという、特異な課題に取り組むこと。
• 古典的なLempel-Ziv-Welch (LZW) コーディング手法の変種が、一般的に使われるMLアルゴリズムに効果的に統合可能かどうかを評価すること。
• コーディングに基づく高速化が、モデルの精度を損なわず、現実のMLシナリオで実際に有効に機能することを実証すること。
• データ圧縮技術を活用してMLのパフォーランスを向上させるという、新たな研究分野を切り開くこと。

提案手法

• 機械学習トレーニングアルゴリズムの計算パターンと互換性を持つように、古典的なLempel-Ziv-Welch (LZW) コーディング方式の変更版を設計した。
• コーディング方式をMLアルゴリズムのデータ処理パイプラインに統合し、従来のデータアクセスおよび集約パターンの置き換えまたは最適化を実現した。
• LZWのプレフィックスコード特性を活用して、MLトレーニング内でのスキャンや集約処理などの冗長計算を削減し、処理を高速化した。
• 実装は複数の標準的なMLアルゴリズムに適用され、モデルの精度やトレーニング目的に変更を加えなかった。
• 実世界のデータセットを複数用いて、現実の条件下でのパフォーマンス向上を評価した。
• LZWの変種には過剰なチューニングを施さなかったため、このアプローチの堅牢性が強調された。

実験結果

リサーチクエスチョン

• RQ1 Lempel-Ziv-Welch (LZW) コーディング方式の変種が、機械学習アルゴリズムの高速化に実際に有効に使えるか？
• RQ2 コーディング方式、モデル構造、最適化アルゴリズムの相互作用が、MLパフォーマンスにどのように影響を与えるか？
• RQ3 コーディング技術が、モデル精度を低下させることなく、MLトレーニングの実行時間をどの程度短縮できるか？
• RQ4 LZWベースの高速化によるパフォーマンス向上は、多様な実世界のデータセットにおいて一貫しているか？
• RQ5 このアプローチが、データエンコードに基づくMLアクセラレータの新たなクラスの基盤として機能できるか？

主な発見

• 提案されたLZWベースのMLアルゴリズムは、実世界のデータセット上で、最先端のMLライブラリと比較して最大31倍の高速化を達成した。
• モデル精度に一切変更を加えず、訓練済みモデルの整合性が保たれた。
• 複数のMLアルゴリズムにわたり高速化が確認されたため、コーディングに基づく高速化技術の広範な適用可能性が示された。
• チューニングがほとんど施されないLZWの変種でも結果が得られたため、このアプローチの本質的効率性と堅牢性が示された。
• 研究では、特にLZWを含むコーディング技術が、機械学習ワークロードの高速化において強力でありながら、未だ十分に活用されていない可能性があることが明らかになった。
• これらの発見は、データ圧縮およびコーディング理論をMLアルゴリズム設計に統合するという、新たな研究分野を開いた。