[논문 리뷰] How is Performance Addressed in DevOps? A Survey on Industrial Practices

Cor‐Paul Bezemer, Simon Eismann외 9명|arXiv (Cornell University)|2018. 08. 21.

Software System Performance and Reliability참고 문헌 11인용 수 10

한 줄 요약

이 논문은 성능 공 ingeneering에 관해 산업 현장에서의 DevOps 관행을 종합적으로 조사한 것으로, CI/CD 파이프라인에 성능 평가가 거의 통합되어 있지 않으며, 종종 일시적인 방식으로만 수행된다는 점을 드러낸다. 연구는 도구의 복잡성과 기존 DevOps 워크플로우와의 낮은 통합도 주요 장벽로 지목하며, 학습 곡선이 낮고 쉽게 통합할 수 있는 경량 성능 도구의 필요성을 주장한다.

ABSTRACT

DevOps is a modern software engineering paradigm that is gaining widespread adoption in industry. The goal of DevOps is to bring software changes into production with a high frequency and fast feedback cycles. This conflicts with software quality assurance activities, particularly with respect to performance. For instance, performance evaluation activities -- such as load testing -- require a considerable amount of time to get statistically significant results. We conducted an industrial survey to get insights into how performance is addressed in industrial DevOps settings. In particular, we were interested in the frequency of executing performance evaluations, the tools being used, the granularity of the obtained performance data, and the use of model-based techniques. The survey responses, which come from a wide variety of participants from different industry sectors, indicate that the complexity of performance engineering approaches and tools is a barrier for wide-spread adoption of performance analysis in DevOps. The implication of our results is that performance analysis tools need to have a short learning curve, and should be easy to integrate into the DevOps pipeline.

연구 동기 및 목표

• 산업 현장의 DevOps 환경에서 성능이 어떻게 다루어지는지 이해하기 위해.
• DevOps에서 성능 공 ingeneering 관행 도입에 있어 주요 장애 요인을 특정하기 위해.
• DevOps 파이프라인 내 성능 평가의 빈도, 사용 도구, 데이터 정밀도, 모델 기반 기법의 활용 여부를 조사하기 위해.
• 연구자 및 실무자들이 DevOps에 성능 공 ingeneering를 보다 잘 통합할 수 있도록 실질적인 통찰을 제공하기 위해.

제안 방법

• 산업 전반에 걸친 설문 조사가 실시되어 산업 현장의 DevOps 환경에서 일하는 전문가들을 대상으로 하였다.
• 설문은 성능 평가 빈도, 도구 사용, 데이터 정밀도, 모델 기반 기법에 관한 데이터를 수집하였다.
• 선택 편향을 최소화하고 다양한 산업 분야의 대표성을 확보하기 위해 다양한 채널을 통해 응답을 수집하였다.
• 닫힌 질문에 대한 정량적 및 정성적 분석을 수행하여 추세와 과제를 파악하였다.
• 지속적 통합 및 배포 파이프라인 내 실제 관행에 집중하였다.
• 주제 분석을 통해 결과를 검증하고 기존의 DevOps 및 성능 공 ingeneering 관련 문헌과 비교 분석하였다.

실험 결과

연구 질문

• RQ1 산업 현장의 DevOps 환경에서 성능 평가는 얼마나 자주 수행되는가?
• RQ2 DevOps 파이프라인에서 가장 널리 사용되는 성능 평가 도구는 무엇인가?
• RQ3 산업 현장의 DevOps 환경에서 수집되는 성능 데이터의 일반적인 정밀도는 무엇인가?
• RQ4 모델 기반 성능 공 ingeneering 기법은 산업 현장의 DevOps 관행에서 어느 정도 도입되고 있는가?

주요 결과

• 설문 응답자의 2/3는 정기적으로 성능 평가를 실시하지 않는다.
• 성능 평가를 실시하는 이들 중 50%는 성능 관련 활동에 5% 미만의 시간을 할애한다.
• Jenkins는 가장 널리 사용되는 CI/CD 도구이지만, 성능 평가는 거의 자동화되지 않으며 파이프라인에 통합되지도 않는다.
• DevOps 파이프라인에서 성능 모델의 사용은 매우 낮아 모델 기반 접근 방식의 도입이 제한적임을 시사한다.
• 많은 전문가들이 성능 문제를 진단할 때 수동 분석과 '인간의 직관'을 활용하며, 일반적으로 SSH와 시스템 유틸리티와 같은 기본 도구를 사용한다.
• 성능 공 ingeneering 도구는 기존 DevOps 툴체인과 잘 통합되어 있지 않으며, 진입 장벽을 낮출 수 있는 잠재력을 지닌 APM 도구도 널리 도입되지 않고 있다.