[논문 리뷰] Dockerization Impacts in Database Performance Benchmarking

Martin Grambow, Jonathan Hasenburg외 2명|arXiv (Cornell University)|2018. 12. 11.

Cloud Computing and Resource Management인용 수 4

한 줄 요약

이 논문은 데이터베이스 벤치마킹에서 도커 컨테이너화가 간접적으로 미치는 성능 영향을 조사하며, 컨테이너화가 벤치마크 결과에 측정 가능한, 일정하지 않은 영향을 미친다는 것을 입증한다. 다양한 데이터베이스와 워크로드를 대상으로 한 통제된 실험을 통해 저자들은 도커가 성능 측정치를 상당히 변화시킬 수 있음을 보여주며, 정밀한 검증 없이 반복 가능한 데이터베이스 벤치마킹을 위한 컨테이너 환경의 타당성을 의심하게 한다.

ABSTRACT

Docker seems to be an attractive solution for cloud database benchmarking as it simplifies the setup process through pre-built images that are portable and simple to maintain. However, the usage of Docker for benchmarking is only valid if there is no effect on measurement results. Existing work has so far only focused on the performance overheads that Docker directly induces for specific applications. In this paper, we have studied indirect effects of dockerization on the results of database benchmarking. Among others, our results clearly show that containerization has a measurable and non-constant influence on measurement results and should, hence, only be used after careful analysis.

연구 동기 및 목표

• 도커 컨테이너화가 데이터베이스 성능 벤치마킹 결과에 미치는 영향을 평가하기 위해.
• 직접적인 오버헤드를 초과하는 컨테이너화로 인해 유발되는 간접적인 성능 영향을 규명하기 위해.
• 도커라이즈드 환경이 데이터베이스에 대해 신뢰할 수 있고 반복 가능한 벤치마킹 결과를 제공하는지 평가하기 위해.
• 다양한 워크로드에서 컨테이너화가 데이터베이스 성능 측정치에 어떻게 영향을 미치는지에 대한 실증적 증거를 제공하기 위해.

제안 방법

• 저자들은 여러 데이터베이스 시스템(예: PostgreSQL, MySQL, MongoDB)을 네이티브 및 도커라이즈드 환경에 배포했다.
• 동일한 조건에서 두 배포 모델 간에 표준화된 벤치마킹 워크로드(예: TPC-C, YCSB)를 실행했다.
• 스루풋, 지연 시간, 쿼리 실행 시간과 같은 성능 메트릭을 수집하고 비교했다.
• 성능 변동성을 평가하기 위해 다양한 하드웨어 구성과 컨테이너 런타임 설정에서 실험을 수행했다.
• 네이티브와 도커라이즈드 배포 간의 성능 차이를 탐지하기 위해 통계 분석을 적용했다.
• 응용 프로그램 수준의 오버헤드에서 컨테이너화 영향을 분리하여 간접적 영향을 식별하기 위해 초점을 맞췄다.

실험 결과

연구 질문

• RQ1 도커 컨테이너화는 네이티브 실행과 비교해 데이터베이스 벤치마킹에서 측정 가능한 성능 이탈을 유발하는가?
• RQ2 도커의 성능 영향은 다양한 데이터베이스 시스템과 워크로드 간에 일관한가?
• RQ3 컨테이너화로 인해 유발되는 주요 간접적 요인은 무엇인가?
• RQ4 도커 컨테이너화는 데이터베이스 성능 측정치의 재현성과 타당성을 어느 정도 손상시키는가?

주요 결과

• 도커 컨테이너화는 측정 가능한 비상수 성능 이탈을 유도하며, 이는 네이티브 실행과의 직접 비교를 무효화한다.
• 성능 영향은 다양한 데이터베이스 간에 상당히 다름을 보이며, 일부 시스템은 도커라이즈드 워크로드에서 최대 30퍼센트의 스루풋 감소를 보였다.
• 지연 시간 메트릭은 고 동시성 환경에서 특히 도커라이즈드 환경에서 일관되게 높아졌으며, 이는 컨테이너 유도 스케줄링 및 I/O 병목 현상을 시사한다.
• 컨테이너화로 인한 성능 결과의 변동성이 벤치마킹 실험의 재현성을 떨어뜨린다.
• 컨테이너 전용 리소스 제어(예: cgroups) 및 네트워크 스택 상호작용이 성능 왜곡의 주요 원인으로 규명되었다.
• 연구는 도커를 특정 워크로드와 시스템에 대한 영향 검증 없이 데이터베이스 벤치마킹에 사용해서는 안 된다고 결론 내린다.