[논문 리뷰] Data Management in Microservices: State of the Practice, Challenges, and Research Directions

Rodrigo Laigner, Yongluan Zhou외 3명|arXiv (Cornell University)|2021. 02. 27.

Software System Performance and Reliability참고 문헌 64인용 수 10

한 줄 요약

이 논문은 문헌 고찰, 오픈소스 분석, 그리고 120명 이상의 전문가 대상 설문 조사로 구성된 혼합 방법 연구를 통해 마이크로서비스 환경에서의 데이터 관리에 대해 조사한다. 주요 과제로는 서비스 간 일관성 확보 부족, 시스템 수준의 지원 부족을 밝혀내며, 개발자 부담을 줄이고 신뢰성을 향상시키기 위해 마이크로서비스 중심 데이터베이스 시스템을 위한 9가지 핵심 기능을 제안한다.

ABSTRACT

Microservices have become a popular architectural style for data-driven applications, given their ability to functionally decompose an application into small and autonomous services to achieve scalability, strong isolation, and specialization of database systems to the workloads and data formats of each service. Despite the accelerating industrial adoption of this architectural style, an investigation of the state of the practice and challenges practitioners face regarding data management in microservices is lacking. To bridge this gap, we conducted a systematic literature review of representative articles reporting the adoption of microservices, we analyzed a set of popular open-source microservice applications, and we conducted an online survey to cross-validate the findings of the previous steps with the perceptions and experiences of over 120 experienced practitioners and researchers. Through this process, we were able to categorize the state of practice of data management in microservices and observe several foundational challenges that cannot be solved by software engineering practices alone, but rather require system-level support to alleviate the burden imposed on practitioners. We discuss the shortcomings of state-of-the-art database systems regarding microservices and we conclude by devising a set of features for microservice-oriented database systems.

연구 동기 및 목표

• 실증적 조사 방법을 통해 마이크로서비스 환경에서의 현재 데이터 관리 실무 상태를 이해하기 위해.
• 소프트웨어 공학적 접근만으로 해결할 수 없는 전문가들이 겪는 반복적인 과제를 특정하기 위해.
• 기존 데이터베이스 시스템이 마이크로서비스 특화 데이터 관리 요구사항을 충족하지 못하는 점을 분석하기 위해.
• 응용 프로그램 인식형, 일관성 있고 확장 가능한 데이터 처리를 가능하게 하는 마이크로서비스 중심 데이터베이스 시스템을 위한 핵심 기능을 정의하기 위해.
• 새로운 추상화와 시스템 수준의 통합을 통해 응용 프로그램 수준의 데이터 관리 로직과 데이터베이스 시스템 기능 간 격차를 메우기 위해.

제안 방법

• 300편의 동료 평가를 통과한 논문을 체계적으로 고찰하여 마이크로서비스 도입과 관련된 10편의 대표적 연구를 선정하였다.
• 인기 있는 오픈소스 마이크로서비스 애플리케이션 세트를 분석하여 실제 환경에서의 데이터 관리 패턴과 기술을 관찰하였다.
• 120명 이상의 경험 많은 전문가 및 연구자 대상으로 온라인 설문 조사를 실시하여 연구 결과를 검증하고 데이터 관리 과제에 대한 인식을 수집하였다.
• 서비스 간 일관성, 스키마 진화, 종합 쿼리 지원 부족과 같은 반복적인 데이터 관리 문제를 규명하였다.
• 마이크로서비스 중심 데이터베이스 시스템을 위한 9가지 핵심 기능(F1–F9)을 제안하였으며, 응용 프로그램 인식형 설계, 이벤트 기반 일관성, 서비스 간 트랜잭션 모델링을 중점으로 하였다.
• 두 가지 아키텍처 방향을 탐색: 상태 기반 중간 계층 추상화(예: 가상 액터 등)를 확장하거나, 데이터베이스 컴포넌트를 응용 프로그램 계층에 통합하여 DBMS가 데이터 플로우 의미를 인식할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 실제 마이크로서비스 애플리케이션에서 널리 사용되는 주요 데이터 관리 패턴과 기술은 무엇인가?
• RQ2 마이크로서비스 간 데이터를 관리할 때 전문가들이 겪는 주요 과제, 특히 일관성과 데이터 교환 문제는 무엇인가?
• RQ3 기존 데이터베이스 시스템은 마이크로서비스의 고유한 데이터 관리 요구사항을 어느 정도 충족하지 못하는가?
• RQ4 데이터베이스 시스템이 마이크로서비스 아키텍처를 네이티브하게 지원하기 위해 필요한 시스템 수준의 기능은 무엇인가?
• RQ5 데이터베이스 시스템이 응용 프로그램 수준의 데이터 관리 로직을 이해함으로써 개발자 부담을 줄일 수 있는 방법은 무엇인가?

주요 결과

• 전문가들은 일반적으로 폴리글랏 퍼시스턴스를 사용하지만, 서비스 간 일관성 확보를 위한 표준화된 접근 방식이 없어 수동적이고 실수 유발적인 해결책을 사용한다.
• 기존 데이터베이스 시스템은 여러 마이크로서비스 상태 간에 일관성 있고 종합적인 쿼리를 지원하지 못하며, 특히 데이터가 서로 다른 데이터베이스와 스키마에 분산되어 있을 경우 더욱 심각한 문제를 야기한다.
• 이벤트 기반 제약 조건과 분산 트랜잭션과 같은 응용 프로그램 수준의 데이터 관리 로직은 데이터베이스 시스템에 투명하게 유지되어, 이에 따른 인터페이스 불일치 문제가 발생한다.
• 마이크로서비스 데이터 관리에 대한 시스템 수준의 지원 부족은 복잡하고 취약하며 유지보수가 어려운 구현을 초래하며, 이는 코드 리팩터링만으로는 해결할 수 없다.
• 제안된 9가지 기능(F1–F9)은 서비스 간 일관성, 이벤트 기반 제약 조건, 응용 프로그램 인식형 데이터 모델링과 같은 핵심 과제를 해결하여 더 신뢰성 있고 유지보수가 쉬운 데이터 관리 구현을 가능하게 한다.
• 상태 기반 추상화 확장과 응용 프로그램 계층에 데이터베이스 컴포넌트 통합이라는 두 가지 아키텍처 방향이 서비스 간 복잡한 데이터 관리 로직을 데이터베이스 시스템이 이해하고 시행할 수 있도록 하는 데 필수적이다.