[논문 리뷰] When Lempel-Ziv-Welch Meets Machine Learning: A Case Study of Accelerating Machine Learning using Coding.

Fengan Li, Lingjiao Chen외 4명|arXiv (Cornell University)|2017. 02. 22.

Algorithms and Data Compression참고 문헌 31인용 수 4

한 줄 요약

이 논문은 정확도를 희생시키지 않고 기계학습 알고리즘의 속도를 향상시키기 위해 레플-지프-웰치(Lempel-Ziv-Welch, LZW) 코드 변종을 새로운 방식으로 적용한다. 기계학습 학습 파이프라인에 수정된 LZW 기반 기법을 통합함으로써, 실제 데이터셋에서 최대 31배의 성능 향상을 달성하였으며, 최적화 및 모델 구조와 잘 맞춰진 경우 데이터 압축 기법이 기계학습의 효율성을 크게 향상시킬 수 있음을 입증한다.

ABSTRACT

In this paper we study the use of coding techniques to accelerate machine learning (ML). Coding techniques, such as prefix codes, have been extensively studied and used to accelerate low-level data processing primitives such as scans in a relational database system. However, there is little work on how to exploit them to accelerate ML algorithms. In fact, applying coding techniques for faster ML faces a unique challenge: one needs to consider both how the codes fit into the optimization algorithm used to train a model, and the interplay between the model structure and the coding scheme. Surprisingly and intriguingly, our study demonstrates that a slight variant of the classical Lempel-Ziv-Welch (LZW) coding scheme is a good fit for several popular ML algorithms, resulting in substantial runtime savings. Comprehensive experiments on several real-world datasets show that our LZW-based ML algorithms exhibit speedups of up to 31x compared to a popular and state-of-the-art ML library, with no changes to ML accuracy, even though the implementations of our LZW variants are not heavily tuned. Thus, our study reveals a new avenue for accelerating ML algorithms using coding techniques and we hope this opens up a new direction for more research.

연구 동기 및 목표

• 압축 기법, 특히 접두어 코드를 활용하여 기계학습 워크로드의 가속화 잠재력을 탐색한다.
• 압축 기법을 기계학습 최적화 알고리즘과 모델 구조에 맞추는 데 발생하는 고유한 과제를 해결한다.
• 기본적인 레플-지프-웰치(Lempel-Ziv-Welch, LZW) 코드 방법의 변종이 주요 기계학습 알고리즘에 효과적으로 통합될 수 있는지 평가한다.
• 코드 기반 가속화가 모델 정확도를 훼손하지 않으면서도 실제 기계학습 환경에서 실현 가능하고 효과적인지 입증한다.
• 데이터 압축 기법을 활용해 기계학습 성능을 향상시키기 위한 새로운 연구 방향을 제시한다.

제안 방법

• 기계학습 학습 알고리즘의 계산 패턴과 호환되도록 고안된 고전적 레플-지프-웰치(Lempel-Ziv-Welch, LZW) 코드 기법의 수정 버전을 제안한다.
• 기계학습 알고리즘의 데이터 처리 파이프라인에 이 코드 기법을 통합하여 기존의 데이터 접근 및 집계 패턴을 대체하거나 최적화한다.
• LZW의 접두어 코드 성질을 활용해 기계학습 학습 내 스캔 및 집계 작업과 같은 반복 계산을 줄이고, 이를 통해 연산을 가속화한다.
• 기본 모델 정확도나 학습 목표에 영향을 주지 않도록, 여러 표준 기계학습 알고리즘에 구현한다.
• 실제 기계학습 데이터셋 여러 개를 대상으로 성능 향상을 평가하여 실제 조건 하에서의 성능 향상을 분석한다.
• LZW 변종에 대해 무거운 튜닝을 적용하지 않아, 이 방법의 강건성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 레플-지프-웰치(Lempel-Ziv-Welch, LZW) 코드 기법의 변종이 기계학습 알고리즘의 가속화에 효과적으로 활용될 수 있는가?
• RQ2 압축 기법, 모델 구조, 최적화 알고리즘 간의 상호작용이 기계학습 성능에 어떤 영향을 미치는가?
• RQ3 어느 정도의 압축 기법이 기계학습 학습의 런타임을 줄일 수 있으며, 동시에 모델 정확도를 떨어뜨리지 않을 수 있는가?
• RQ4 LZW 기반 가속화로 얻는 성능 향상은 다양한 실제 데이터셋에서 일관되게 유지되는가?
• RQ5 이 방법이 데이터 인코딩 기반 기계학습 가속기의 새로운 클래스를 위한 기초가 될 수 있는가?

주요 결과

• 제안된 LZW 기반 기계학습 알고리즘은 실제 데이터셋에서 최신 기계학습 라이브러리 대비 최대 31배의 속도 향상을 달성한다.
• 모델 정확도에 대한 수정 없이 성능 향상이 이루어져, 훈련된 모델의 무결성이 유지된다.
• 여러 기계학습 알고리즘에 걸쳐 속도 향상이 관찰되어, 이 코드 기반 가속화 기법의 광범위한 적용 가능성을 시사한다.
• 성능 향상은 높은 튜닝을 거치지 않은 LZW 변종을 통해 달성되었으며, 이는 이 방법의 본질적 효율성과 강건성을 시사한다.
• 이 연구는 특히 LZW를 포함한 압축 기법이 기계학습 워크로드의 가속화에 강력한 잠재력을 지닌다 할지라도 아직 충분히 탐색되지 않은 영역임을 드러낸다.
• 결과적으로, 데이터 압축 및 코드 이론을 기계학습 알고리즘 설계에 통합하는 데 있어 새로운 연구 방향을 열어준다.