[논문 리뷰] Helix: Holistic Optimization for Accelerating Iterative Machine Learning

Doris Xin, Stephen Macke외 4명|arXiv (Cornell University)|2018. 12. 14.

Scientific Computing and Data Management참고 문헌 60인용 수 6

한 줄 요약

Helix는 실행 단계 간의 중간 결과를 지능적으로 캐싱하고 재계산하여 워크플로우 반복 간 전반적인 최적화를 통해 반복적인 머신러닝 개발을 가속화하는 선언적 머신러닝 시스템입니다. 실행 및 물리적 자료화 결정을 각각 최대 유량(Max-Flow) 문제와 NP-완전 최적화 문제로 모델링하고 효과적인 휴리스틱을 적용함으로써, DeepDive와 KeystoneML과 같은 최신 기술 대비 최대 19배 빠른 런타임을 달성합니다.

ABSTRACT

Machine learning workflow development is a process of trial-and-error: developers iterate on workflows by testing out small modifications until the desired accuracy is achieved. Unfortunately, existing machine learning systems focus narrowly on model training---a small fraction of the overall development time---and neglect to address iterative development. We propose Helix, a machine learning system that optimizes the execution across iterations---intelligently caching and reusing, or recomputing intermediates as appropriate. Helix captures a wide variety of application needs within its Scala DSL, with succinct syntax defining unified processes for data preprocessing, model specification, and learning. We demonstrate that the reuse problem can be cast as a Max-Flow problem, while the caching problem is NP-Hard. We develop effective lightweight heuristics for the latter. Empirical evaluation shows that Helix is not only able to handle a wide variety of use cases in one unified workflow but also much faster, providing run time reductions of up to 19x over state-of-the-art systems, such as DeepDive or KeystoneML, on four real-world applications in natural language processing, computer vision, social and natural sciences.

연구 동기 및 목표

• 작은 변경 사항 후 전체 워크플로우를 다시 실행해야 하는 이유로 인해 발생하는 주요 개발 블로킹 요인인 반복 시간이 너무 길다는 문제를 해결하기 위해.
• 수동으로 자료화하거나 복잡한 종속성 추적을 요구하지 않고도 반복 간 중간 결과를 효율적으로 재사용할 수 있도록 하기 위해.
• 다양한 머신러닝 워크로드를 지원하면서도 데이터 전처리, 모델 정의, 학습을 하나의 간결한 도메인 특화 언어(DSL)로 통합하기 위해.
• 워크플로우 DAG 전반에 걸친 영향을 고려하여 실행 계획 수립과 자료화 결정을 동시에 최적화하기 위해.
• 개발자 시간과 자원 소비를 줄여 반복적인 머신러닝 개발이 변경 사항의 크기 비례가 되도록 하기 위해.

제안 방법

• 최적의 실행 순서를 결정하여 반복 간 재계산을 최소화하기 위해 Opt-Exec-Plan 문제를 최대 유량(Max-Flow) 문제로 모델링합니다.
• 최대 재사용 이점 확보를 위해 캐시할 중간 결과를 선택하는 문제를 NP-완전 문제로 축소합니다.
• 연산자 종속성과 예상 절감 효과를 고려한 경량이면서 효과적인 자료화 계획 휴리스틱을 제안합니다.
• 스칼라 기반의 DSL을 사용하여 데이터 전처리, 모델 학습, 후처리를 선언적으로 통합한 단일 워크플로우를 표현합니다.
• 데이터 및 연산자 종속성을 정확하게 추적하기 위해 워크플로우를 DAG 기반으로 표현합니다.
• 과거 사용 패턴에 기반한 반응형 휴리스틱이 아닌, 다음 반복에서의 예상 절감 효과를 기반으로 한 사전 비용 모델링을 적용합니다.

실험 결과

연구 질문

• RQ1 반복적인 머신러닝 워크플로우에서 다중 반복 간 재계산을 줄이기 위해 어떻게 최적화할 수 있는가?
• RQ2 반복적 머신러닝 실행 및 자료화를 위한 통합 최적화 문제의 계산 복잡도는 무엇인가?
• RQ3 실행 계획 문제는 효율적인 해결이 가능한 알려진 다항식 시간 문제인 최대 유량(Max-Flow) 문제로 축소될 수 있는가?
• RQ4 NP-완전 문제의 성격을 고려할 때 자료화 결정을 어떻게 효과적으로 내릴 수 있는가?
• RQ5 통합된 선언적 DSL이 다양한 머신러닝 워크로드를 표현하면서도 반복 간 최적화를 가능하게 할 수 있는 정도는 어느 정도인가?

주요 결과

• Helix는 자연어 처리, 컴퓨터 비전, 사회/자연과학 분야의 실제 애플리케이션에서 DeepDive와 KeystoneML과 같은 최신 기술 대비 최대 19배 빠른 런타임을 달성합니다.
• 복잡한 학습 작업에서는 기준 시스템 대비 누적 런타임을 40–60% 감소시킵니다.
• 간단한 머신러닝 작업에서는 DeepDive와 KeystoneML 대비 거의 한 수준(10배)의 런타임 감소를 달성합니다.
• Opt-Exec-Plan 문제는 최대 유량 문제로의 축소를 통해 다항식 시간 내에 해결 가능하며, 이는 효율적인 실행 계획 수립을 가능하게 합니다.
• Opt-Mat-Plan 문제는 NP-완전임이 증명되어 있어 실무 배포에 적합한 경량 휴리스틱의 사용가치가 높습니다.
• Helix의 예측 절감 효과 기반 사전 자료화 전략은 과거 사용 패턴에 의존하는 반응형 접근 방식보다 뛰어난 성능을 보입니다.