[논문 리뷰] A Comparative Study on the Performance of the Top DBMS Systems

Youssef Bassil|arXiv (Cornell University)|2012. 05. 13.

Cloud Computing and Resource Management참고 문헌 2인용 수 30

한 줄 요약

이 논문은 복잡도가 다른 SQL 쿼리를 사용한 통제된 벤치마크를 통해 Microsoft SQL Server 2008, Oracle 11g, IBM DB2, MySQL 5.5 및 MS Access 2010의 다섯 가지 주요 DBMS 시스템의 성능을 평가한다. 평균 실행 시간, 메모리 사용량 및 CPU 활용도를 측정하여 시스템 간의 직접 비교를 수행하며, 테스트 중에 상당한 성능 격차가 존재하는 것으로 드러났다.

ABSTRACT

Database management systems are today's most reliable mean to organize data into collections that can be searched and updated. However, many DBMS systems are available on the market each having their pros and cons in terms of reliability, usability, security, and performance. This paper presents a comparative study on the performance of the top DBMS systems. They are mainly MS SQL Server 2008, Oracle 11g, IBM DB2, MySQL 5.5, and MS Access 2010. The testing is aimed at executing different SQL queries with different level of complexities over the different five DBMSs under test. This would pave the way to build a head-to-head comparative evaluation that shows the average execution time, memory usage, and CPU utilization of each DBMS after completion of the test.

연구 동기 및 목표

• 실제 쿼리 워크로드 상황에서 널리 사용되는 상용 및 오픈소스 DBMS 시스템의 성능을 평가하고 비교하기 위해.
• 표준화된 테스트 조건 하에서 주요 DBMS 플랫폼 간의 성능 저하 요인과 효율성 차이를 규명하기 위해.
• 데이터베이스 선택 의사결정을 위한 실행 시간, 메모리 소비 및 CPU 활용도에 대한 실증적 데이터를 제공하기 위해.
• 쿼리 복잡도가 다양한 DBMS 아키텍처 및 최적화 전략에서 성능에 미치는 영향을 평가하기 위해.

제안 방법

• MS SQL Server 2008, Oracle 11g, IBM DB2, MySQL 5.5 및 MS Access 2010의 다섯 가지 최상위 DBMS 시스템 선정.
• 실제 워크로드를 시뮬레이션하기 위해 복잡도 수준이 다른 다양한 SQL 쿼리 설계 및 실행.
• 핵심 성능 메트릭 측정: 쿼리 실행 중 평균 실행 시간, 메모리 사용량 및 CPU 활용도.
• 외부 변수의 영향을 최소화하고 시스템 간 공정한 비교를 보장하기 위해 표준화된 테스트 환경 확보.
• 모든 다섯 개의 DBMS 플랫폼 간 성능 데이터 수집 및 비교를 위한 통제된 벤치마킹 프레임워크 활용.
• 다양한 쿼리 유형 및 실행 사이클에 걸쳐 평균 성능 기준으로 결과 보고.

실험 결과

연구 질문

• RQ1 다양한 복잡도에서 상위 다섯 개의 DBMS 시스템은 평균 쿼리 실행 시간 측면에서 어떻게 비교될 수 있는가?
• RQ2 쿼리 처리 중에 가장 높은 메모리 사용 효율성을 보인 DBMS는 무엇인가?
• RQ3 동일한 워크로드 하에서 테스트된 DBMS 플랫폼 간 CPU 활용도는 어떻게 달라지는가?
• RQ4 쿼리 복잡도는 DBMS 시스템 간 성능 격차에 어떤 영향을 미치는가?
• RQ5 다양한 쿼리 유형에 걸쳐 가장 일관된 성능을 보인 DBMS는 무엇인가?

주요 결과

• MS SQL Server 2008는 대부분의 쿼리 유형에서 가장 낮은 평균 쿼리 실행 시간을 기록했으며, 복잡한 쿼리에서 다른 시스템을 앞서는 성능을 보였다.
• Oracle 11g는 복잡한 트랜잭션 워크로드에서 높은 메모리 소비를 보였지만, CPU 활용도는 안정적으로 유지되었다.
• MySQL 5.5는 균형 잡힌 메모리 및 CPU 사용량을 보였지만, 복잡한 조인 연산에서 뒤처지는 성능을 보였다.
• IBM DB2는 중간 복잡도 쿼리에서 경쟁력 있는 성능을 보였지만, 실행 시간의 변동성이 높았다.
• MS Access 2010는 가장 높은 평균 실행 시간을 기록했으며, 특히 복잡한 쿼리에서 메모리 및 CPU 사용 효율성이 가장 낮았다.
• 성능 순위는 쿼리 유형에 따라 달라졌으며, 어떤 하나의 DBMS도 모든 워크로드에서 우월하지는 않았다. 이는 워크로드 특화 선택의 중요성을 강조한다.