[논문 리뷰] Scheduling OLTP Transactions via Machine Learning

Yangjun Sheng, Anthony Tomasic외 2명|arXiv (Cornell University)|2019. 03. 07.

Distributed systems and fault tolerance참고 문헌 34인용 수 9

한 줄 요약

이 논문은 주로 메인메모리 OLTP 데이터베이스에서 머신러닝 기반 트랜잭션 스케줄링을 제안하여, 트랜잭션 간 충돌 확률을 예측함으로써 중단률을 낮추고 처리량을 높인다. 충돌 예측을 위해 지도학습과 비지도학습을 활용해 충돌이 일어날 가능성이 높은 트랜잭션들을 전용 대기열로 묶고 워크로드를 균형 있게 분배함으로써, 20코어 시스템에서 무작위 스케줄링 대비 최대 54% 높은 처리량과 80% 낮은 중단률을 달성한다.

ABSTRACT

Current main memory database system architectures are still challenged by high contention workloads and this challenge will continue to grow as the number of cores in processors continues to increase. These systems schedule transactions randomly across cores to maximize concurrency and to produce a uniform load across cores. Scheduling never considers potential conflicts. Performance could be improved if scheduling balanced between concurrency to maximize throughput and scheduling transactions linearly to avoid conflicts. In this paper, we present the design of several intelligent transaction scheduling algorithms that consider both potential transaction conflicts and concurrency. To incorporate reasoning about transaction conflicts, we develop a supervised machine learning model that estimates the probability of conflict. This model is incorporated into several scheduling algorithms. In addition, we integrate an unsupervised machine learning algorithm into an intelligent scheduling algorithm. We then empirically measure the performance impact of different scheduling algorithms on OLTP and social networking workloads. Our results show that, with appropriate settings, intelligent scheduling can increase throughput by 54% and reduce abort rate by 80% on a 20-core machine, relative to random scheduling. In summary, the paper provides preliminary evidence that intelligent scheduling significantly improves DBMS performance.

연구 동기 및 목표

• 코어 수 증가에 따라 증가하는 콘텐션으로 인한 주로 메인메모리 OLTP 시스템의 높은 중단률 문제를 해결하기 위해.
• 무작위 스케줄링을 넘어서 동시성과 충돌 회피를 지능적으로 균형 잡은 스케줄링을 통해 데이터베이스 처리량을 향상시키기 위해.
• 기존의 데이터베이스 관리 시스템(DBMS)에 종속되지 않고 경량이며 간소한 통합을 통해 기계학습을 통합할 수 있는 스케줄링 프레임워크를 설계하기 위해.
• 분할 가능한 워크로드에 국한되지 않고 비분할 가능하고 복잡한 OLTP 워크로드로도 효과적인 스케줄링을 일반화하기 위해.
• 실제 워크로드에서 충돌 인식 스케줄링이 무작위 스케줄링보다 뚜렷하게 뛰어난 성능을 보임을 경험적으로 검증하기 위해.

제안 방법

• 정적 및 동적 특성(예: 데이터 접근 패턴, 객체 분할 정도 등)을 사용하여 트랜잭션 쌍 간의 충돌 가능성을 예측하는 지도학습 모델을 훈련한다.
• 충돌 예측 모델을 활용해 높은 충돌 가능성을 가진 트랜잭션들을 동일한 선입선출(FIFO) 대기열에 묶어 중단률을 낮춘다.
• 각 대기열의 이력 트랜잭션 특성 벡터의 중심점(평균 특성 벡터)을 유지하는 벡터 기반 스케줄링 알고리즘을 구현하여 스케줄링 중 효율적인 충돌 예측을 가능하게 한다.
• 트랜잭션 응답 시간을 모니터링하여 과부하된 대기열을 차단함으로써 워크로드 균형을 도모한다.
• 라벨이 없는 충돌 데이터를 기반으로 유사한 충돌 패턴을 가진 트랜잭션 그룹을 식별하기 위해 비지도 군집 알고리즘을 적용하여 스케줄링 결정을 향상시킨다.
• 미세한 API를 통해 스케줄러를 통합하여 런타임 비용을 낮춘다—트랜잭션 길이에 비례하는 선형 비용을 유지함으로써 고처리량 시스템에서 실용성을 확보한다.

실험 결과

연구 질문

• RQ1 머신러닝을 통해 주로 메인메모리 OLTP 시스템에서 트랜잭션 간 충돌을 정확히 예측할 수 있는가? 이는 스케줄링 결정을 안내하는 데 유용한가?
• RQ2 충돌 인식 스케줄링을 통해 충돌이 일어날 가능성이 높은 트랜잭션들을 묶는 방식이 중단률을 낮추면서도 높은 처리량을 유지할 수 있는가?
• RQ3 지능적인 스케줄링이 분할 가능한 워크로드뿐 아니라 비분할 가능한 워크로드에서도 무작위 스케줄링보다 뛰어난 성능을 낼 수 있는가?
• RQ4 실시간 스케줄링 환경에서 충돌 예측과 동적 워크로드 균형 조절의 성능 오버헤드는 얼마나 되는가?
• RQ5 최소한의 시스템 수정으로도 지도학습과 비지도학습의 통합이 스케줄러 결정을 얼마나 효과적으로 향상시킬 수 있는가?

주요 결과

• 제안된 지능형 스케줄링 방식은 20코어 머신에서 무작위 스케줄링 대비 최대 54% 높은 처리량을 달성했다.
• 고콘텐션 워크로드 하에서 중단률은 무작위 스케줄링 대비 80% 감소했다.
• 밸런스드 벡터 어サ인 스케줄러는 코어 간 워크로드를 효과적으로 균형 잡으며 충돌을 최소화했고, 대기열 불균형으로 인한 성능 저하를 방지했다.
• 가장 뛰어난 성능을 보인 스케줄러는 추가로 약 500줄의 코드만 필요로 해 엔지니어링 오버헤드가 매우 낮았다.
• 기존의 분할 전략이 실패하는 비분할 워크로드로도 잘 일반화되어 다양한 트랜잭션 패턴에 대해 강건함을 입증했다.
• 모델 추론 비용은 낮게 유지되었으며, 트랜잭션 길이에 비례하는 선형 비용을 보였고, 고성능 OLTP 시스템에서 실시간 사용에 적합함을 입증했다.