[논문 리뷰] Exploiting Reuse in Pipeline-Aware Hyperparameter Tuning

Liam Li, Evan Sparks외 2명|arXiv (Cornell University)|2019. 03. 12.

Machine Learning and Data Classification참고 문헌 28인용 수 4

한 줄 요약

이 논문은 설계 최적화, 계산 균형 조절, 캐싱 향상 등을 통해 다단계 기계학습 파이프라인 간 계산 재사용을 활용하는 파이프라인 인식형 하이퍼파라미터 튜닝 프레임워크를 제안한다. 공통 접두사 탐지를 위한 격자형 랜덤 서치, 학습 시간을 줄이기 위한 Successive Halving 기반의 조기 정지 전략, 그리고 독창적인 ILP 기반 캐싱 전략을 도입한다. 실험 결과, 음성 분류 작업에서 17배 이상, 텍스트 분류 작업에서 70배 이상의 성능 향상을 기록하였다.

ABSTRACT

Hyperparameter tuning of multi-stage pipelines introduces a significant computational burden. Motivated by the observation that work can be reused across pipelines if the intermediate computations are the same, we propose a pipeline-aware approach to hyperparameter tuning. Our approach optimizes both the design and execution of pipelines to maximize reuse. We design pipelines amenable for reuse by (i) introducing a novel hybrid hyperparameter tuning method called gridded random search, and (ii) reducing the average training time in pipelines by adapting early-stopping hyperparameter tuning approaches. We then realize the potential for reuse during execution by introducing a novel caching problem for ML workloads which we pose as a mixed integer linear program (ILP), and subsequently evaluating various caching heuristics relative to the optimal solution of the ILP. We conduct experiments on simulated and real-world machine learning pipelines to show that a pipeline-aware approach to hyperparameter tuning can offer over an order-of-magnitude speedup over independently evaluating pipeline configurations.

연구 동기 및 목표

• 다단계 기계학습 파이프라인의 하이퍼파라미터 튜닝에 소요되는 높은 계산 비용을 구성 간 재사용을 통해 해결하고자 한다.
• 공통 중간 단계를 가진 파이프라인을 하나의 DAG로 통합하여 하이퍼파라미터 튜닝 중 부과되는 중복 계산을 줄이고자 한다.
• 조기 정지 및 부분 학습 전략을 통해 고비용 학습 단계의 균형을 맞춰 효율성을 향상시키고자 한다.
• 변동하는 노드 비용을 고려한 기계학습 워크로드에 특화된 캐시 인식 전략을 개발하고자 한다. 이는 LRU와 같은 표준 히우리스틱스를 넘어서는 것이다.
• 기계학습 파이프라인 실행을 위한 고급 캐싱 히우리스틱스를 최적의 ILP 해법과 비교 평가하고자 한다.

제안 방법

• 연속형 하이퍼파라미터의 분지 수를 제한하여 파이프라인 DAG 내에서 공통 접두사를 유도하는 하이브리드 방법인 격자형 랜덤 서치를 도입한다.
• 비용이 큰 학습 노드를 더 저렴한 순차적 단계로 분할하기 위해 Successive Halving을 조기 정지 전략으로 적용하여 DAG의 균형을 향상시킨다.
• 기계학습 파이프라인의 캐싱 문제를 캐시 의존성 있는 일반화된 페이지링 문제로 모델링하고, 혼합정수선형계획문제(MILP)로 공식화한다.
• 고비용이지만 낮은 가치를 지닌 노드를 캐시하지 않도록 설계된 새로운 캐싱 히우리스틱스인 RECIPROCAL 및 WRECIPROCAL을 제안하고 평가한다.
• 히우리스틱 성능 평가의 기준으로 최적의 ILP 해법을 사용하며, 특히 메모리 제약 조건 하에서의 성능을 분석한다.
• 재사용 설계, 계산 균형 조절, 지능형 캐싱의 세 가지 접근 방식을 통합하여 효율성을 극대화한다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터 구성 간 공통 접두사를 체계적으로 활용하여 파이프라인 튜닝 시 중복 계산을 줄일 수 있는가?
• RQ2 조기 정지 및 부분 학습 전략은 기계학습 파이프라인의 계산 균형을 향상시켜 재사용 이점을 극대화하는 데 기여하는가?
• RQ3 변동하는 노드 비용을 가진 기계학습 파이프라인에 대해 표준 LRU 캐시 제거 정책이 적합한가?
• RQ4 새로운 ILP 기반 캐싱 전략은 전통적인 히우리스틱스를 능가하여 파이프라인 하이퍼파라미터 튜닝의 총 실행 시간을 줄일 수 있는가?
• RQ5 실제 기계학습 워크로드에서 다양한 계산 프로파일을 가진 파이프라인 인식 접근 방식은 얼마나 높은 성능 향상을 달성할 수 있는가?

주요 결과

• 20 Newsgroups 데이터셋에서 제안된 파이프라인 인식 접근 방식은 캐싱 히우리스틱스를 사용해 독립적 구성 평가 대비 70배의 성능 향상을 달성하였다.
• 아마존 리뷰 데이터셋에서는 모든 캐싱 전략이 40배 이상의 성능 향상을 보였으며, 이는 앞단에 집중된 계산이 많은 파이프라인에서 강력한 재사용 이점을 입증한다.
• 메모리가 제한된 환경에서 LRU는 고비용의 초기 단계 노드가 제거되어 성능이 열악하게 나타나, 기계학습 파이프라인에 적합하지 않음을 시사한다.
• WRECIPROCAL은 큰 비용이지만 낮은 가치를 지닌 노드를 캐시할 가능성이 낮아 RECIPROCAL 및 LRU보다 더 뛰어난 성능을 보이며, 다양한 캐시 크기에서 더 유연한 성능을 보였다.
• TIMIT 음성 분류 작업에서는 격자형 랜덤 서치와 Successive Halving을 결합한 결과, 현실적인 설정에서 캐싱과 함께 17배 이상의 성능 향상을 기록하였다.
• 최적의 ILP 해법은 강력한 기준이 되었으며, 적절히 설계된 히우리스틱 기반 캐싱 전략가 성능을 거의 최적에 가깝게 달성할 수 있음을 보여주었다.