[論文レビュー] Data Management in Microservices: State of the Practice, Challenges, and Research Directions

Rodrigo Laigner, Yongluan Zhou+3 more|arXiv (Cornell University)|Feb 27, 2021

Software System Performance and Reliability参考文献 64被引用数 10

ひとこと要約

本論文は、文献的レビュー、オープンソース分析、120名以上の実務者を対象としたアンケートを組み合わせた混合研究手法を用いて、マイクロサービスにおけるデータ管理を調査する。主な課題として、サービス間の一貫性やシステムレベルの支援不足を特定し、開発者の負担を軽減し信頼性を向上させる包括的かつアプリケーションに配慮したデータ管理を可能にするために、マイクロサービス指向データベースシステムに必要な9つの基盤的機能を提案する。

ABSTRACT

Microservices have become a popular architectural style for data-driven applications, given their ability to functionally decompose an application into small and autonomous services to achieve scalability, strong isolation, and specialization of database systems to the workloads and data formats of each service. Despite the accelerating industrial adoption of this architectural style, an investigation of the state of the practice and challenges practitioners face regarding data management in microservices is lacking. To bridge this gap, we conducted a systematic literature review of representative articles reporting the adoption of microservices, we analyzed a set of popular open-source microservice applications, and we conducted an online survey to cross-validate the findings of the previous steps with the perceptions and experiences of over 120 experienced practitioners and researchers. Through this process, we were able to categorize the state of practice of data management in microservices and observe several foundational challenges that cannot be solved by software engineering practices alone, but rather require system-level support to alleviate the burden imposed on practitioners. We discuss the shortcomings of state-of-the-art database systems regarding microservices and we conclude by devising a set of features for microservice-oriented database systems.

研究の動機と目的

• 実証的調査を通じて、マイクロサービスにおけるデータ管理実務の現状を理解すること。
• ソフトウェア工学の手法だけでは解決できない、実務者が直面する繰り返し発生する課題を同定すること。
• マイクロサービス固有のデータ管理ニーズを支援する点で、既存のデータベースシステムの欠陥を分析すること。
• アプリケーションに配慮した一貫性・スケーラブルなデータ処理を可能にする、マイクロサービス指向データベースシステムに不可欠な機能のセットを定義すること。
• 新しい抽象化とシステムレベルの統合を通じて、アプリケーションレベルのデータ管理論理とデータベースシステムの能力のギャップを埋めること。

提案手法

• 300編の査読付き論文の体系的レビューを実施し、マイクロサービス導入に関する10編の代表的研究を選定した。
• 人気のあるオープンソースマイクロサービスアプリケーションのセットを分析し、現実世界のデータ管理パターンと技術を観察した。
• 120名以上の経験豊富な実務者および研究者を対象にオンラインアンケートを実施し、調査結果の妥当性を検証し、データ管理の課題に関する認識を収集した。
• サービス間の一貫性、スキーマの進化、包括的クエリサポートの欠如といった、繰り返し発生するデータ管理問題を同定した。
• マイクロサービス指向データベースシステムに必要な9つの主要機能（F1–F9）を提案した。特に、アプリケーションに配慮したアーキテクチャ、イベント駆動型の一貫性、サービス間トランザクションモデリングに重点を置いた。
• 2つのアーキテクチャ的アプローチを検討した：ステートフルなミドルウェア抽象（例：バーチャルアクター）の拡張、およびデータベースコンponentをアプリケーション層に統合して、データフローの意味論をDBMSに公開する。

実験結果

リサーチクエスチョン

• RQ1 実世界のマイクロサービスアプリケーションで一般的に使われているデータ管理パターンと技術は何か？
• RQ2 マイクロサービス間でのデータ管理において、特に一貫性とデータ交換に関して、実務者が直面する主な課題は何か？
• RQ3 既存のデータベースシステムは、マイクロサービス固有のデータ管理ニーズをどのように満たせていないか？
• RQ4 データベースシステムがマイクロサービスアーキテクチャをネイティブにサポートするには、どのようなシステムレベルの機能が必要か？
• RQ5 データベースシステムがアプリケーションレベルのデータ管理論理を理解することで、開発者の負担をどのように軽減できるか？

主な発見

• 実務者は一般的にポリゴット持久を採用しているが、サービス間の一貫性を標準化したアプローチがなく、一時的な対応策に頼るなど、誤りを誘発しやすい解決策が一般的である。
• 既存のデータベースシステムは、複数のマイクロサービスの状態にまたがる一貫性・包括的なクエリをサポートしていない。特に、異なるデータベースやスキーマに分散されたデータに対しては顕著である。
• イベント駆動型の制約や分散トランザクションといったアプリケーションレベルのデータ管理論理は、しばしばデータベースシステムから見えにくく、インピーダンスミスマッチを引き起こしている。
• マイクロサービスのデータ管理にシステムレベルの支援が欠如しているため、複雑で壊れやすく保守が困難な実装が生じており、コードの再構築だけでは解決できない。
• 提案された9つの機能（F1–F9）は、マイクロサービス間の一貫性、イベントベースの制約、アプリケーションに配慮したデータモデリングといった、根本的な課題に対処でき、より信頼性が高く保守が容易なデータ管理を可能にする。
• ステートフルな抽象化の拡張と、データベースコンponentをアプリケーション層に統合する2つのアーキテクチャ的アプローチが、複雑なデータ管理論理を複数のサービスにまたがってデータベースシステムが理解・実行できるようにするために不可欠であると判明した。