[논문 리뷰] Apache Hive: From MapReduce to Enterprise-grade Big Data Warehousing

Jesús Camacho-Rodríguez, Ashutosh Singh Chauhan외 9명|arXiv (Cornell University)|2019. 01. 01.

Cloud Computing and Resource Management참고 문헌 38인용 수 6

한 줄 요약

이 논문은 Apache Hive가 배치 중심 ETL 도구에서 ACID 트랜잭션, Calcite를 통한 비용 기반 최적화기, Tez와 LLAP를 통한 저지연 런타임, 그리고 다양한 스토리지 시스템 간의 연합 쿼리 기능을 통합함으로써 엔터프라이즈 수준의 데이터 웨어하우스로 진화한 과정을 제시한다. 그 결과, TB 규모의 데이터에서 밀리초 이내의 지연 시간을 보장하는 확장성 있고 상호작용이 가능한 SQL 호환 시스템이 탄생하여 현대의 분석 워크로드를 처리할 수 있게 되었다.

ABSTRACT

Apache Hive is an open-source relational database system for analytic big-data workloads. In this paper we describe the key innovations on the journey from batch tool to fully fledged enterprise data warehousing system. We present a hybrid architecture that combines traditional MPP techniques with more recent big data and cloud concepts to achieve the scale and performance required by today's analytic applications. We explore the system by detailing enhancements along four main axis: Transactions, optimizer, runtime, and federation. We then provide experimental results to demonstrate the performance of the system for typical workloads and conclude with a look at the community roadmap.

연구 동기 및 목표

• Apache Hive를 배치 ETL 도구에서 완전한 엔터프라이즈 데이터 웨어하우스 시스템으로 현대화하기.
• 빅데이터 환경에서 저지연, 상호작용형 SQL 쿼리에 대한 증가하는 수요를 충족시키기.
• 업데이트 가능한 데이터 웨어하우징 워크로드를 위한 완전한 ACID 트랜잭션 지원을 제공하기.
• 연합을 통해 이질적인 스토리지 시스템 간의 쿼리 실행을 통합하기.
• 엔터프라이즈 워크로드를 위한 쿼리 최적화, 런타임 효율성, 시스템 확장성 향상하기.

제안 방법

• 비용 기반 최적화 및 고급 SQL 기능을 가능하게 하기 위해 Apache Calcite를 핵심 쿼리 최적화기로 통합.
• 지연 시간을 줄이고 쿼리 실행의 유연성을 향상시키기 위해 MapReduce를 실행 엔진으로서 Apache Tez로 교체.
• 데이터 캐시 및 컨테이너 시작 오버헤드를 방지하기 위해 지속적이고 메모리 기반의 런타임 계층으로 LLAP(Low Latency Analytical Processing) 도입.
• SQL 지원을 확장하여 관련 서브쿼리, 무결성 제약 조건, 고급 OLAP 함수를 추가하여 완전한 SQL-99 호환성 확보.
• 스냅샷 격리 기반으로 Hive 메타스토어를 활용한 트랜잭션 관리자를 구축하여 ACID 트랜잭션 지원 구현.
• 스토리지 핸들러 확장 및 Calcite의 관계대수를 활용해 외부 시스템으로 조건식 및 연산을 푸시다하여 연합 기능 강화.

실험 결과

연구 질문

• RQ1 Hadoop와의 호환성과 확장성을 유지하면서 Hive가 ACID 트랜잭션을 어떻게 지원할 수 있는가?
• RQ2 빅데이터 환경에서 쿼리 지연 시간을 줄이고 상호작용형 분석을 가능하게 하기 위해 어떤 아키텍처 변경이 필요한가?
• RQ3 SQL-on-Hadoop 시스템에 비용 기반 최적화기를 효과적으로 통합하여 쿼리 성능을 향상시키는 방법은 무엇인가?
• RQ4 통합된 SQL 인터페이스를 통해 여러 스토리지 시스템 간의 쿼리 연합을 가능하게 하는 메커니즘은 무엇인가?
• RQ5 핵심 신뢰성과 확장성 손실 없이 Hive가 배치 처리 도구에서 기능이 풍부한 엔터프라이즈 데이터 웨어하우스로 어떻게 진화할 수 있는가?

주요 결과

• LLAP를 활용해 TB 규모의 데이터에서 평균 쿼리 지연 시간이 밀리초 이내로 확보되어 상호작용형 및 즉시 쿼리가 가능해졌다.
• Calcite 통합으로 쿼리 재최적화 및 물리적 뷰 재작성과 같은 고급 최적화 기법이 가능해져 쿼리 성능이 크게 향상되었다.
• Hive 메타스토어 기반의 스냅샷 격리 기반 트랜잭션 관리자를 통해 ACID 트랜잭션 지원이 성공적으로 구현되어 업데이트, 삭제, 병합 연산이 가능해졌다.
• 연합 쿼리 기능을 통해 Kafka, HBase, 클라우드 스토리지 등 외부 시스템의 데이터에 푸시다 연산과 통합된 SQL 인터페이스를 통해 원활하게 액세스할 수 있게 되었다.
• 벡터화된 실행과 열 기반 스토리지로 인한 런타임 개선으로 벤치마크 워크로드에서 처리 시간이 최대 10배까지 단축되었다.
• 커뮤니티 로드맵에는 다중 문장 트랜잭션, 카디널리티 추정을 위한 통계 피드백 향상, 다중 엔진 호환성을 위한 메타스토어의 독립 배포가 포함되어 있다.