[논문 리뷰] Intermediate Data Caching Optimization for Multi-Stage and Parallel Big Data Frameworks

Zhengyu Yang, Danlin Jia외 3명|arXiv (Cornell University)|2018. 04. 27.

Caching and Content Delivery참고 문헌 34인용 수 3

한 줄 요약

이 논문은 Apache Spark와 같은 다단계 대용량 데이터 프레임워크에서 작업 간의 가장 가치 있는 중간 데이터셋(RDD)을 자동으로 식별하고 캐시하는 적응형 캐싱 알고리즘을 제안한다. 이를 통해 전체 재계산 작업을 최소화한다. 문제를 DAG 기반 최적화로 모델링하고 최적성 보장을 갖춘 온라인 의사결정을 사용함으로써, LRU 및 기타 휴리스틱 기법 대비 총 작업량을 12% 감소시켰으며, 캐시 크기가 증가함에 따라 이는 더욱 두드러진다.

ABSTRACT

In the era of big data and cloud computing, large amounts of data are generated from user applications and need to be processed in the datacenter. Data-parallel computing frameworks, such as Apache Spark, are widely used to perform such data processing at scale. Specifically, Spark leverages distributed memory to cache the intermediate results, represented as Resilient Distributed Datasets (RDDs). This gives Spark an advantage over other parallel frameworks for implementations of iterative machine learning and data mining algorithms, by avoiding repeated computation or hard disk accesses to retrieve RDDs. By default, caching decisions are left at the programmer's discretion, and the LRU policy is used for evicting RDDs when the cache is full. However, when the objective is to minimize total work, LRU is woefully inadequate, leading to arbitrarily suboptimal caching decisions. In this paper, we design an algorithm for multi-stage big data processing platforms to adaptively determine and cache the most valuable intermediate datasets that can be reused in the future. Our solution automates the decision of which RDDs to cache: this amounts to identifying nodes in a direct acyclic graph (DAG) representing computations whose outputs should persist in the memory. Our experiment results show that our proposed cache optimization solution can improve the performance of machine learning applications on Spark decreasing the total work to recompute RDDs by 12%.

연구 동기 및 목표

• 수동 RDD 캐싱과 LRU 교체 전략으로 인한 Spark의 비최적 캐싱 결정으로 인해 발생하는 높은 재계산 비용을 해결하기 위해.
• 다단계, 병렬 대용량 데이터 처리 환경에서 총 작업량을 최소화하기 위해 중간 데이터 캐싱 문제를 최적화 과제로 공식화하기 위해.
• 작업 간 계산 중복을 탐지하고 가장 가치 있는 RDD를 캐시하기 위해 온라인, 적응형 캐싱 알고리즘을 설계하기 위해.
• 각 작업의 휴리스틱이 아닌 전역적인 작업 수준의 액세스 패턴을 활용하여 캐시 활용도와 성능을 향상시키기 위해.
• 기계 학습 및 데이터 마이닝 워크로드를 포함한 다양한 워크로드에서 실제 Spark 배포 환경과 시뮬레이션을 통해 접근 방식을 검증하기 위해.

제안 방법

• 노드가 연산을 나타내고 간선이 데이터 의존성을 나타내는 방향성 있는 사이클 없는 그래프(DAG)로 계산을 모델링하기 위해.
• 전체 재계산 비용을 최소화하기 위해 어떤 중간 RDD를 캐시할지 선택하기 위한 수학적 최적화 프레임워크 정의하기 위해.
• 미래의 재사용 예측과 여러 작업 간 액세스 패턴에 기반한 온라인 의사결정을 내리는 적응형 캐싱 알고리즘 개발하기 위해.
• 모든 액세스된 RDD의 전역 뷰를 사용하여 작업 간 중복을 탐지하고 자주 재사용되거나 재계산 비용이 높은 데이터셋의 캐시 우선순위를 정하기 위해.
• Apache Spark에 알고리즘을 구현하고 실제 워크로드 및 합성 스트레스 테스트를 통해 표준 정책(FIFO, LRU, LCS)과 비교하기 위해.
• 정의된 목적 함수 하에 최적에 가까운 성능을 보장하기 위해 최적성 보장을 적용하기 위해.

실험 결과

연구 질문

• RQ1 다단계 대용량 데이터 프레임워크에서 중간 데이터 캐싱을 자동화하여 총 재계산 작업량을 어떻게 줄일 수 있는가?
• RQ2 작업 간 계산 중복은 캐시 효율성에 어떤 영향을 미치며, 이를 어떻게 효과적으로 활용할 수 있는가?
• RQ3 적응형 캐싱 알고리즘이 LRU 및 LCS와 같은 전통적 휴리스틱 기법보다 히트 비율과 메이크스팬 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 캐시 크기와 워크로드 복잡도가 증가함에 따라 제안된 알고리즘의 성능은 어떻게 변화하는가?
• RQ5 총 작업량 최소화를 위해 최적화할 때, 캐시 활용도와 계산 비용 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 적응형 캐싱 알고리즘은 LRU 및 기타 기준 정책 대비 RDD 재계산에 필요한 총 작업량을 12% 감소시킨다.
• 제한된 성능 여유가 있는 캐시-친화적이지 않은 스트레스 테스트에서 히트 비율은 최대 13% 향상되고, 메이크스팬은 최대 12% 감소한다.
• 캐시 크기가 증가할수록 성능 향상이 가장 두드러지며, 이는 알고리즘이 가용 메모리 자원을 효과적으로 활용할 수 있음을 보여준다.
• FIFO, LRU, LCS와 달리 적응형 알고리즘은 작업 간 계산 중복을 탐지하고 활용하여 장기적인 캐싱 결정을 더 우수하게 한다.
• 기계 학습 및 데이터 마이닝 파이프라인을 포함한 복잡한 실세계 워크로드에서도 알고리즘은 높은 효율성을 유지한다.
• 결과적으로 전역적, 작업 수준의 중간 데이터 재사용 분석이 각 작업의 휴리스틱보다 훨씬 뛰어난 캐시 활용도를 이끌어낸다.