[논문 리뷰] LIRS: Enabling efficient machine learning on NVM-based storage via a lightweight implementation of random shuffling

Zhi-Lin Ke, Hsiang-Yun Cheng외 1명|arXiv (Cornell University)|2018. 10. 10.

Advanced Neural Network Applications참고 문헌 25인용 수 8

한 줄 요약

LIRS는 비버니시브 메모리(NVM) 기반 스토리지에서 기계학습을 위한 경량이며 메모리 효율적인 무작위 셔플링 방법을 제안한다. 빠른 랜덤 I/O 성능을 활용해 최소한의 오버헤드로 완전한 무작위 데이터 셔플링을 가능하게 한다. 인스턴스 인덱스를 셔플링하고 직접 스토리지에서 데이터에 접근함으로써, LIRS는 SVM 및 DNN 학습 시간을 각각 평균 49.9%, 43.5% 감소시키며, DNN 테스트 정확도를 1.01% 향상시킨다.

ABSTRACT

Machine learning algorithms, such as Support Vector Machine (SVM) and Deep Neural Network (DNN), have gained a lot of interests recently. When training a machine learning algorithm, randomly shuffle all the training data can improve the testing accuracy and boost the convergence rate. Nevertheless, realizing training data random shuffling in a real system is not a straightforward process due to the slow random accesses in hard disk drive (HDD). To avoid frequent random disk access, the effect of random shuffling is often limited in existing approaches. With the emerging non-volatile memory-based storage device, such as Intel Optane SSD, which provides fast random accesses, we propose a lightweight implementation of random shuffling (LIRS) to randomly shuffle the indexes of the entire training dataset, and the selected training instances are directly accessed from the storage and packed into batches. Experimental results show that LIRS can reduce the total training time of SVM and DNN by 49.9% and 43.5% on average, and improve the final testing accuracy on DNN by 1.01%.

연구 동기 및 목표

• 느린 스토리지 장치에서 I/O를 줄이기 위해 랜덤성을 희생하는 기존 셔플링 방법의 비효율성을 해결한다.
• Intel Optane SSD와 같은 NVM 기반 스토리지의 빠른 랜덤 액세스 성능을 활용해 완전한 무작위 셔플링을 가능하게 한다.
• 기존의 큰 메모리 버퍼가 필요한 전통적 셔플링 기법에 비해 메모리 오버헤드를 최소화한다.
• 더 높은 데이터 셔플링 무작위성으로 인해 SVM 및 DNN 학습의 수렴 속도와 테스트 정확도를 향상시킨다.
• 단순히 더 빠른 스토리지로 업그레이드하는 것만으로는 최적의 학습 성능을 달성할 수 없으며, LIRS와 같은 알고리즘적 개선이 필수적임을 입증한다.

제안 방법

• 학습 데이터의 인덱스에 기반한 경량 무작위 셔플링 메커니즘을 제안하며, 데이터 자체가 아닌 인덱스를 대상으로 한다.
• I/O 시스템 콜을 사용해 NVM 스토리지에서 직접 셔플된 학습 인스턴스에 접근함으로써 메모리 내 데이터 이동을 방지한다.
• 희소 포맷에 특히 효과적으로 셔플된 인덱스를 물리적 스토리지 위치로 매핑하기 위해 데이터 포맷 인식 위치 생성기(Data Format Aware Location Generator)를 도입한다.
• 학습 인스턴스가 작고 다량일 경우에 접근 패턴을 최적화하기 위해 페이지 인식 무작위 셔플링(Page-aware Random Shuffling)을 적용한다.
• 셔플된 인덱스를 추적하기 위해 작은 무작위 할당 테이블(이미지넷 기준 9.8MB)을 유지하여 메모리 프로파일을 최소화한다.
• 특히 계산 집약적인 DNN 모델에서 I/O와 계산 단계를 겹쳐서 처리해 로딩 지연을 숨긴다.

실험 결과

연구 질문

• RQ1 기계학습 학습에서 데이터 셔플링 정도가 수렴 속도와 테스트 정확도에 어떤 영향을 미치는가?
• RQ2 빠른 랜덤 I/O 성능을 지닌 NVM 기반 스토리지가 금전적 또는 I/O 비용이 과도하게 증가하지 않도록 완전한 무작위 셔플링을 가능하게 할 수 있는가?
• RQ3 다양한 셔플링 방법을 사용할 경우 하드디스크(HDD), SSD, Optane 등의 스토리지 장치의 I/O 특성은 학습 시간에 어떤 영향을 미치는가?
• RQ4 경량 셔플링 방법이 메모리 사용량을 늘리지 않고도 학습 시간을 단축시키고 모델 정확도를 향상시킬 수 있는가?
• RQ5 HDD를 더 빠른 스토리지로 교체하는 것만으로 최적의 학습 성능을 달성할 수 있는가, 아니면 LIRS와 같은 알고리즘 혁신이 필수적인가?

주요 결과

• LIRS는 HDD 기반 기존 방법 대비 SVM 학습에 대해 평균 49.9% 감소, DNN 학습에 대해 43.5% 감소한 총 학습 시간을 기록한다.
• LIRS는 배치 내외에서의 무작위성 증가로 인해 DNN 테스트 정확도를 1.01% 향상시킨다. 이는 국소 최솟값에 빠지기 쉬운 위험을 줄이는 데 기여한다.
• Optane SSD에서 LIRS는 TFIP 대비 AlexNet에 대해 46.15% 감소, OverFeat에 대해 36.90% 감소, VGG16에 대해 47.56% 감소한 학습 시간을 기록한다.
• LIRS는 이미지넷 크기의 0.1% 미만인 9.8MB의 추가 메모리만 사용하며, TFIP의 7.3GB 메모리 요구량보다 훨씬 적다.
• I/O가 계산 시간으로 숨겨질 수 있는 임계점 이상에서는 LIRS의 성능이 스토리지 속도에 민감하지 않다.
• LIRS 없이 단순히 HDD에서 Optane SSD로의 업그레이드만으로는 최적의 학습 시간 향상을 달성할 수 없으며, 이는 알고리즘 혁신의 필요성을 입증한다.