[논문 리뷰] FDB: A Query Engine for Factorised Relational Databases

Nurzhan Bakibayev, Dan Olteanu외 1명|arXiv (Cornell University)|2012. 03. 12.

Advanced Database Systems and Queries참고 문헌 17인용 수 4

한 줄 요약

FDB는 인-memory 쿼리 엔진으로, 인라인으로 인수 분해된 관계형 데이터베이스에서 선택-프로젝션-조인 쿼리를 압축된 대수적 인수 분해 표현을 통해 가속화한다. 데이터 인수 분해를 새로운 최적화 및 평가 알고리즘을 통해 활용함으로써, FDB는 다对다 관계를 가진 데이터셋에서 기존 관계형 엔진 대비 최대 10,000배의 성능 향상을 달성한다.

ABSTRACT

Factorised databases are relational databases that use compact factorised representations at the physical layer to reduce data redundancy and boost query performance. This paper introduces FDB, an in-memory query engine for select-project-join queries on factorised databases. Key components of FDB are novel algorithms for query optimisation and evaluation that exploit the succinctness brought by data factorisation. Experiments show that for data sets with many-to-many relationships FDB can outperform relational engines by orders of magnitude.

연구 동기 및 목표

• 다대다 관계로 인한 데이터 중복으로 인해 발생하는 기존 관계형 데이터베이스의 성능 저하 문제를 해결하기 위해.
• 새로운 인-memory 쿼리 엔진을 설계하여 인수 분해된 관계형 데이터에서 효율적인 쿼리 처리를 가능하게 하기 위해.
• 인수 분해 표현의 압축성과 특성을 활용하는 쿼리 최적화 및 평가 알고리즘을 개발하기 위해.
• 인수 분해 표현이 여러 쿼리 연산을 거쳐도 압축성과 성능을 유지하는지 입증하기 위해.
• 플랫 및 인수 분해된 데이터를 사용하여 FDB의 성능을 기존 관계형 데이터베이스 및 최적화 도구와 비교하기 위해.

제안 방법

• FDB는 관계를 단일 속성 값의 곱의 합집합으로 표현하는 인수 트리(f-tree) 데이터 구조를 사용하여 압축 저장 및 효율적인 쿼리 처리를 가능하게 한다.
• 엔진은 두 단계 접근 방식을 사용한다: 최적의 인수 분해 순서를 결정하는 f-plan 기반의 쿼리 최적화, 그리고 f-tree의 재귀적 탐색을 통한 평가.
• FDB는 지수적 공간의 가능한 f-tree 구조를 탐색하기 위해 전체 검색 및 휴리스틱 기반의 그리디 최적화 도구를 모두 지원하며, 최적성과 효율성의 균형을 이룬다.
• 쿼리 평가 엔진은 중간 결과를 물리적으로 재구성하지 않고도 f-tree의 중첩된 구조를 탐색하고 수정함으로써 선택 및 조인 연산을 직접 f-tree에서 수행한다.
• 곱셈과 합집합의 분배법칙 및 교환법칙을 활용하여 f-tree를 더 압축된 형태로 재구성함으로써 평가 비용을 감소시킨다.
• FDB는 플랫 및 인수 분해된 입력 데이터에서 쿼리를 평가하며, SQLite, PostgreSQL 및 표준 RDBMS 엔진과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 기존 관계형 엔진 대비 인수 분해 표현이 쿼리 평가 시간과 결과 크기를 크게 줄일 수 있는가?
• RQ2 f-plan의 품질(즉, 인수 분해 순서)이 FDB의 쿼리 성능에 어떤 영향을 미치는가?
• RQ3 여러 쿼리 연산을 거치면서 인수 분해 표현의 압축성이 떨어지는가?
• RQ4 f-tree 탐색 공간 탐색에서 최적성과 효율성의 상호 간 교환 관계는 어떠한가?
• RQ5 쿼리 크기 증가 및 데이터 분포 기울기 증가에 따라 FDB의 성능은 어떻게 스케일링되는가?

주요 결과

• FDB는 다대다 관계를 가진 데이터셋에서 기존 관계형 데이터베이스 대비 최대 4개 지수(10,000배) 빠른 쿼리 평가 성능을 달성한다.
• 최대 네 개의 등가 선택 연산이 포함된 쿼리에서는, 5억 개의 데이터 값을 처리하더라도 결과 크기가 4,000개 이내의 싱글턴으로 압축된다.
• 전체 검색 최적화 도구는 최적의 f-plan을 찾지만 쿼리 크기에 따라 지수적으로 성능이 떨어지며, 그리디 휴리스틱은 최대 3배 빠르고 성능 저하가 최대 50% 이내로 유지된다.
• 인수 분해된 입력 데이터에서 FDB는 압축된 결과를 유지하며, 입력 크기가 1,000 튜플로 줄어들었을 때도 FDB와 RDB 모두 0.1초 이내에 실행된다.
• 입력 데이터 크기가 1,000 튜플 이하로 감소할 때만 FDB와 RDB 간 성능 격차가 사라지며, 이는 FDB의 이점이 대규모이고 고도로 인수 분해 가능한 데이터에서 가장 두드러진다는 것을 시사한다.
• 실험 결과 인수 분해 품질이 여러 연산을 거쳐도 떨어지지 않음을 확인하였으며, 다중 쿼리 단계에 걸쳐도 압축 표현의 지속 가능성을 입증하였다.