[논문 리뷰] Optimizing ETL Dataflow Using Shared Caching and Parallelization Methods

Xiufeng Liu|arXiv (Cornell University)|2014. 09. 05.

Advanced Data Storage Technologies참고 문헌 14인용 수 3

한 줄 요약

이 논문은 공유 캐시와 다중 입자 수준 병렬 처리(파이프라인 및 다중 스레딩)를 사용하여 ETL 데이터플로우를 최적화하는 프레임워크를 제안한다. ETL 컴포넌트를 행 동기화, 반 블록, 블록 유형으로 분류함으로써 데이터플로우를 분할하고 공유 캐시를 적용하여 메모리 사용량과 데이터 복사 오버헤드를 감소시켜 표준 ETL 대비 4.7배 빠른 성능을 달성하고 실험에서 Kettle를 능가한다.

ABSTRACT

Extract-Transform-Load (ETL) handles large amount of data and manages workload through dataflows. ETL dataflows are widely regarded as complex and expensive operations in terms of time and system resources. In order to minimize the time and the resources required by ETL dataflows, this paper presents a framework to optimize dataflows using shared cache and parallelization techniques. The framework classifies the components in an ETL dataflow into different categories based on their data operation properties. The framework then partitions the dataflow based on the classification at different granularities. Furthermore, the framework applies optimization techniques such as cache re-using, pipelining and multi-threading to the already-partitioned dataflows. The proposed techniques reduce system memory footprint and the frequency of copying data between different components, and also take full advantage of the computing power of multi-core processors. The experimental results show that the proposed optimization framework is 4.7 times faster than the ordinary ETL dataflows (without using the proposed optimization techniques), and outperforms the similar tool (Kettle).

연구 동기 및 목표

• 대규모 ETL 프로세스가 수시간에서 수일이 걸리는 데이터 웨어하우징 환경에서 ETL 데이터플로우 성능을 향상시키기 위해.
• 컴ponent 간 비용이 많이 드는 데이터 복사에 의존하고 다중 코어 프로세서를 제대로 활용하지 못하는 전통적인 ETL 시스템의 비효율성을 해결하기 위해.
• BI 개발자의 워크플로우에 영향을 주지 않고도 변경이 필요 없는 투명하고 재사용 가능한 최적화 프레임워크를 개발하기 위해.
• ETL 파이프라인에서 반복적인 데이터 복사로 인한 메모리 사용량과 CPU 오버헤드를 최소화하기 위해.
• 파이프라인 및 다중 스레딩을 활용한 다중 입자 수준 병렬 처리(서브셋 수준 및 컴포넌트 수준)를 통해 다중 코어 시스템을 효율적으로 활용하기 위해.

제안 방법

• ETL 컴포넌트를 데이터 처리 특성에 따라 세 가지 유형으로 분류: 행 동기화, 반 블록, 블록 컴포넌트.
• 컴포넌트의 유형과 입자 수준에 따라 그룹화하는 데이터플로우 분할 알고리즘 설계를 통해 타겟 최적화를 가능하게 한다.
• 여러 컴포넌트가 동일한 메모리 캐시에 액세스할 수 있도록 허용하는 공유 캐시 기법을 구현하여 중복 데이터 복사와 메모리 사용량을 감소시킨다.
• 실행 트리 내부에서 파이프라인 처리를 적용하고 컴포넌트 간 다중 스레딩을 통해 다중 코어 프로세서의 능력을 극대화한다.
• 성능 튜닝을 위한 최적의 병렬 처리 수준(파이프라인 깊이)을 추정하기 위한 비용 기반 공식과 알고리즘을 개발한다.
• 최적화 기법을 변환 계층에 통합하여 최종 사용자 및 BI 개발자에게 투명성을 확보한다.

실험 결과

연구 질문

• RQ1 ETL 데이터플로우는 컴포넌트 처리 특성에 기반해 어떻게 효과적으로 분할할 수 있으며, 이를 통해 타겟 최적화가 가능할 수 있는가?
• RQ2 공유 캐시는 ETL 파이프라인에서 얼마나 메모리 사용량과 데이터 복사 오버헤드를 줄일 수 있는가?
• RQ3 ETL 데이터플로우의 최적의 병렬 처리 수준(파이프라인 깊이)은 무엇이며, 이를 효율적으로 추정할 수 있는가?
• RQ4 제안된 프레임워크는 표준 ETL 실행 방식과 Kettle과 같은 기존 도구에 비해 성능 향상이 얼마나 이루어지는가?
• RQ5 다중 입자 수준 병렬 처리(서브셋 수준 및 컴포넌트 수준)는 ETL 워크로드에서 다중 코어 시스템을 효과적으로 활용할 수 있는가?

주요 결과

• 제안된 프레임워크는 최적화 기법을 사용하지 않는 표준 ETL 데이터플로우 대비 4.7배 빠른 성능을 달성한다.
• 프레임워크는 실행 시간에서 오픈소스 ETL 도구인 Kettle을 능가하여 실용적인 효율성을 입증한다.
• 공유 캐시 기법은 메모리 사용량을 크게 줄이고 ETL 컴포넌트 간 중복 데이터 복사를 제거한다.
• 파이프라인 처리와 다중 스레딩을 다중 입자 수준에서 적용함으로써 다중 코어 프로세서 자원을 효과적으로 활용할 수 있다.
• 최적의 파이프라인 깊이를 추정하기 위한 비용 기반 알고리즘이 성능 튜닝과 확장성에 기여한다.
• 최적화 기법은 변환 계층에서 적용되기 때문에 BI 개발자에게 투명하며, 기존 ETL 설계에 변경 사항이 필요로 하지 않는다.