[논문 리뷰] KeystoneML: Optimizing Pipelines for Large-Scale Advanced Analytics

Evan Sparks, Shivaram Venkataraman외 3명|arXiv (Cornell University)|2016. 10. 29.

Advanced Neural Network Applications참고 문헌 42인용 수 4

한 줄 요약

KeystoneML은 분산 환경에서 대규모 머신러닝 파이프라인의 엔드 투 엔드 최적화를 위한 고수준이며 타입 세이프한 프레임워크이다. 비용 기반의 물리적 연산자 선택과 전체 파이프라인 최적화(지능적인 중간 데이터 재사용 포함)를 결합함으로써 실제 이미지 분류, 음성 및 NLP 워크로드에서 최적화되지 않은 실행 대비 최대 15배 높은 학습 스루풋을 달성한다.

ABSTRACT

Modern advanced analytics applications make use of machine learning techniques and contain multiple steps of domain-specific and general-purpose processing with high resource requirements. We present KeystoneML, a system that captures and optimizes the end-to-end large-scale machine learning applications for high-throughput training in a distributed environment with a high-level API. This approach offers increased ease of use and higher performance over existing systems for large scale learning. We demonstrate the effectiveness of KeystoneML in achieving high quality statistical accuracy and scalable training using real world datasets in several domains. By optimizing execution KeystoneML achieves up to 15x training throughput over unoptimized execution on a real image classification application.

연구 동기 및 목표

• 대규모 다단계 분석 파이프라인을 위한 기존 ML 시스템에서의 엔드 투 엔드 최적화 부족 문제를 해결한다.
• 변경되는 데이터 볼륨과 하드웨어 구성에 따라 ML 파이프라인의 원활한 확장성을 가능하게 한다.
• 데이터 특성과 자원 제약 조건을 바탕으로 최적의 물리적 연산자 및 실행 전략을 자동으로 선택한다.
• 개별 연산자와 전체 파이프라인 워크플로우를 최적화하여 성능과 통계적 정확도를 향상시킨다.

제안 방법

• 완전한 ML 워크플로우를 엔드 투 엔드로 표현하기 위해 논리적 연산자를 사용하는 고수준이며 타입 세이프한 API를 노출한다.
• 분산 실행에서 계산 비용과 통신 비용을 모두 고려한 비용 기반 최적화기 설계한다.
• 반복적 ML 파이프라인에서의 중복 계산을 줄이기 위해 중간 데이터 재사용 문제를 수립한다.
• 성능 향상을 위해 어떤 중간 상태를 캐시할지 효율적으로 식별하기 위한 근사 알고리즘을 개발한다.
• 희소성과 차원 수와 같은 데이터 특성에 대한 인식을 바탕으로 도메인에 종속되지 않는 최적화를 통합한다.
• 데이터 크기, 하드웨어 및 특성 집합의 변화에 대응하기 위해 파이프라인의 동적 재구성 기능을 지원한다.

실험 결과

연구 질문

• RQ1 어떻게 분산 환경에서 엔드 투 엔드 ML 파이프라인을 자동으로 성능과 확장성 측면에서 최적화할 수 있는가?
• RQ2 희소성과 차원 수와 같은 데이터 특성은 ML 연산자에 대한 최적의 물리적 실행 계획 선택에 어떤 역할을 하는가?
• RQ3 비용 기반의 물리적 연산자 최적화와 전체 파이프라인 전략 최적화는 난이도 높은 실행 대비 학습 스루풋을 얼마나 향상시킬 수 있는가?
• RQ4 통합 최적화를 통해 고수준 추상화와 저수준 성능을 동시에 달성할 수 있는 통합 시스템은 가능한가?
• RQ5 자원 효율성과 통계적 정확도 측면에서 KeystoneML의 최적화 전략은 전용 시스템과 비교해 어떻게 다른가?

주요 결과

• KeystoneML은 최적화되지 않은 실행 대비 최대 15배 높은 학습 스루풋을 달성하며, 주로 물리적 최적화와 전체 파이프라인 최적화의 조합 덕분이다.
• 엔드 투 엔드 최적화만으로도 성능이 최대 7배 향상되어 통합 파이프라인 튜닝의 가치를 입증한다.
• 나쁜 물리적 연산자 선택은 성능 저하를 최대 260배까지 유도할 수 있어 지능적인 연산자 선택의 중요성을 강조한다.
• 100만 개 이상의 이미지를 포함한 실제 이미지 분류 파이프라인에서 KeystoneML는 수백 대의 머신을 통해 선형 확장성을 보였다.
• BlueGene 슈퍼컴퓨터에서 전용 음소 분류 시스템과 동일한 성능을 달성했지만 자원을 8배 적게 사용했다.
• 이미지 분류, 감성 분석 및 음성 인식 분야에서 최신 기술 수준의 성능과 통계적 성능을 유사하게 달성했다.