[논문 리뷰] Flow-Loss: Learning Cardinality Estimates That Matter

Parimarjan Negi, Ryan Marcus외 5명|arXiv (Cornell University)|2021. 01. 13.

Machine Learning and Algorithms참고 문헌 47인용 수 10

한 줄 요약

이 논문은 기존의 평균 추정 오차(예: Q-Error)를 최적화하는 데에 치중하는 기존의 학습된 카디널리티 추정기의 한계를 해결하기 위해, 실제 쿼리 성능과 더 잘 일치하는 새로운 미분 가능한 손실 함수인 Flow-Loss를 소개한다. 쿼리 최적화를 계획 그래프 상의 유량 경로 문제로 모델링하고 계획 비용 기울기의 역전파를 통해, Flow-Loss는 전체 정확도뿐 아니라 쿼리 최적화기 결정에 가장 큰 영향을 미치는 추정치를 우선시하여 학습한다. 이는 추정 정확도가 Q-Error보다 낮을지라도 실제 쿼리 성능을 향상시키며, 특히 미리 보지 못한 쿼리 템플릿에서 1.5배 빠른 런타임을 달성한다.

ABSTRACT

Previous approaches to learned cardinality estimation have focused on improving average estimation error, but not all estimates matter equally. Since learned models inevitably make mistakes, the goal should be to improve the estimates that make the biggest difference to an optimizer. We introduce a new loss function, Flow-Loss, that explicitly optimizes for better query plans by approximating the optimizer's cost model and dynamic programming search algorithm with analytical functions. At the heart of Flow-Loss is a reduction of query optimization to a flow routing problem on a certain plan graph in which paths correspond to different query plans. To evaluate our approach, we introduce the Cardinality Estimation Benchmark, which contains the ground truth cardinalities for sub-plans of over 16K queries from 21 templates with up to 15 joins. We show that across different architectures and databases, a model trained with Flow-Loss improves the cost of plans (using the PostgreSQL cost model) and query runtimes despite having worse estimation accuracy than a model trained with Q-Error. When the test set queries closely match the training queries, both models improve performance significantly over PostgreSQL and are close to the optimal performance (using true cardinalities). However, the Q-Error trained model degrades significantly when evaluated on queries that are slightly different (e.g., similar but not identical query templates), while the Flow-Loss trained model generalizes better to such situations. For example, the Flow-Loss model achieves up to 1.5x better runtimes on unseen templates compared to the Q-Error model, despite leveraging the same model architecture and training data.

연구 동기 및 목표

• 기존의 학습된 카디널리티 추정기가 평균 추정 오차(예: Q-Error)를 최적화하는 데에 치중하는 한계를 해결하기 위해, 실제 쿼리 성능과의 일치를 보장한다.
• 쿼리 최적화기 결정에 가장 영향을 미치는 카디널리티 추정치를 식별하고, 이를 향상시켜 계획 품질을 향상시키는 데 목표를 둔다.
• 최적화기의 비용 모델과 동적 프로그래밍 탐색의 다양한, 미분 가능한 근사치를 개발하여 기울기 기반 학습을 가능하게 한다.
• Flow-Loss가 기존 Q-Error 학습 방식과 비교해, 훈련 중에 볼 수 없었던 쿼리 템플릿에 대해 더 나은 일반화 성능을 보이는지 평가한다.
• Flow-Loss로 학습된 모델이 훈련 데이터의 노이즈나 정확도가 떨어지는 추정치에 대해 과적합을 피하고, 더 나은 일반화 성능을 유지하는지 입증한다.

제안 방법

• 계획 그래프 상에서 쿼리 최적화를 가장 짧은 경로 문제로 공식화하며, 경로들은 다양한 쿼리 계획을 나타낸다.
• 동적 프로그래밍 최적화기와 비용 모델을 분석적이고 미분 가능한 함수로 근사하여, 계획 비용이 카디널리티 추정치에 대해 기울기를 계산한다.
• 계획 비용 기울기를 역전파하여 가장 중요한 카디널리티 추정치를 개선하는 데 기여하는, 미분 가능한 대체 손실인 Flow-Loss를 유도한다.
• 행렬 역행렬(B(Y)⁻¹)을 활용하여 기울기를 효율적으로 계산하며, 전기 유량 공식화에서 유도된 구조를 활용해 확장성을 확보한다.
• 실제 워크로드에서 FCNN, MSCN 등의 신경망 모델을 Flow-Loss로 학습하고, Q-Error 및 PostgreSQL 기본값과 비교한다.
• 16,000개 이상의 쿼리, 21개의 템플릿(최대 15개 조인 포함)에 대해 기준값이 있는 새로운 벤치마크(CED)를 사용해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 Flow-Loss를 통해 계획 비용을 최소화하도록 학습한 학습된 카디널리티 추정기가, 추정 정확도를 최적화하는 데에 치중한 Q-Error 기반 추정기보다 실제 쿼리 성능에서 뛰어나게 되는가?
• RQ2 특히 모델 용량이 제한된 상황에서, Flow-Loss는 훈련 중에 볼 수 없었던 쿼리 템플릿으로의 일반화 성능을 향상시키는가?
• RQ3 Flow-Loss는 피처화 변화나 데이터 분포 이동에 대해 Q-Error보다 더 강건한가?
• RQ4 Flow-Loss로 학습된 모델은 훈련 데이터가 노이즈가 많거나 일부 정확도가 떨어지는 경우에도 성능 향상을 유지할 수 있는가?
• RQ5 Flow-Loss는 계획 선택에 영향을 주지 않는 카디널리티 추정치에 대해 과적합을 얼마나 줄이는가?

주요 결과

• Flow-Loss로 학습된 모델은 Q-Error 기반 모델보다 평균 Q-Error가 열 劣함에도 불구하고, 쿼리 계획 비용(PPC)과 런타임을 향상시킨다.
• 미리 보지 못한 쿼리 템플릿에서는, 동일한 모델 아키텍처와 훈련 데이터를 사용함에도 불구하고 Flow-Loss 모델이 Q-Error 모델보다 평균 런타임을 최대 1.5배 빠르게 한다.
• Flow-Loss 모델은 일반화 성능이 뛰어나다: 피처화 구성 요소를 제거할 경우, Flow-Loss 모델은 성능을 유지하지만, Q-Error 모델은 PPC에서 최대 2배 악화된다.
• PostgreSQL 히وري스틱 피처(예: 카디널리티 및 비용 추정치)는 일반화에 핵심적이다. 이들을 제거하면 두 모델 모두 성능이 저하되지만, Flow-Loss는 더 강건하다.
• Flow-Loss 모델은 분포 이동에 대해 뛰어난 강건성을 보이며, 약간 다른 워크로드에서 심각한 성능 저하를 피한다. 반면 Q-Error 모델은 PostgreSQL 대비 최대 1.5배 느려질 수 있다.
• Flow-Loss의 훈련 오버헤드는 Q-Error 대비 3~5배 높지만, 추론은 매우 빠르며 수밀리초 수준이므로 쿼리 최적화에 실용적이다.