[論文レビュー] Monitoring data distribution and exploitation in a global-scale microservice artefact observatory

Panagiotis Gkikopoulos, Josef Spillner+1 more|arXiv (Cornell University)|Jun 2, 2020

Software System Performance and Reliability参考文献 13被引用数 1

ひとこと要約

本論文では、グローバルなマイクロサービスアーティファクトリポジトリを監視・分析する分散型で合意形成に基づく観測所を提案する。これにより、メタデータ、コード品質、セキュリティ、パフォーマンスの信頼性の高い追跡が可能となり、マイクロサービスの組み合わせにおける予測可能性の向上と、データ駆動型開発および研究を支援する。分散監視、動的テスト、合意形成による投票を組み合わせることで、システムは真のデータ（ground truth）を生成し、マイクロサービスの組み合わせの予測可能性を高める。

ABSTRACT

Reusable microservice artefacts are often deployed as black or grey boxes, with little concern for their properties and quality, beyond a syntactical interface description. This leads application developers to chaotic and opportunistic assumptions about how a composite application will behave in the real world. Systematically analyzing and tracking these publicly available artefacts will grant much needed predictability to microservice-based deployments. By establishing a distributed observatory and knowledge base, it is possible to track microservice repositories and analyze the artefacts reliably, and provide insights on their properties and quality to developers and researchers alike. This position paper argues for a federated research infrastructure with consensus voting among participants to establish and preserve ground truth about the insights.

研究の動機と目的

• グローバルなマーケットプレイスにおける公開可能なマイクロサービスアーティファクトの体系的でない監視と品質評価の欠如に対処する。
• 開発者にマイクロサービスの特性に関するデータ駆動型のインサイトを提供することで、合成アプリケーションにおける予測不能な振るまいを低減する。
• マイクロサービスエコシステムにおける進化の追跡とアンチパターンの検出を可能にする、スケーラブルで分散型の研究インfraストラクチャを構築する。
• 研究者や実務家が、検証済みで合意形成に基づく真のデータを、縦断的調査やツール統合のために利用できるようにする。
• CI/CDパイプラインに統合し、ソフトウェア開発中のリアルタイムな品質フィードバックを支援する。

提案手法

• etcdを用いたピアツーピアのメタデータ交換および調整を実現する、Dockerベースの地理的に分散された監視インfraストラクチャを展開する。
• Docker Hub や AWS Serverless Application Repository などの公開リポジトリからメタデータを収集する分散型クローラーを実装する。
• エミュレーテッド環境（例：LocalStack や sam local）を用いて、静的解析、セキュリティスキャン（例：CVEチェック）、パフォーマンスベンチマークを実施する。
• 複数の独立した観測から得られるデータを、ノード間での合意形成による投票によって検証・真のデータを確立する。不一致はクラスタリングを用いて解決する。
• ネットワーク全体に検証済みの結果をアナウンスすることで、一貫性を確保し、ノード間でのオンデマンド比較を可能にする。
• Helmチャート、Dockerイメージ、Composeファイル、Kubernetes Operatorを含む、多様なアーティファクトタイプをサポートするようにシステムを拡張する。

実験結果

リサーチクエスチョン

• RQ1 グローバルに分散された、フェデレーテッドなシステムは、どのようにして公開マイクロサービスアーティファクトの進化する品質と挙動を信頼性高く追跡・分析できるか？
• RQ2 多様で分散されたマイクロサービスアーティファクトの観測から、合意形成に基づく真のデータを生成するためのメカニズムは何か？
• RQ3 静的解析に加えて、動的テストとエミュレーションを用いることで、品質メトリクスの正確性はどの程度向上するか？
• RQ4 本観測所のアーキテクチャは、大規模で現実世界のマイクロサービスエコシステムに適用した場合、どのようにスケーリングするか？
• RQ5 本観測所から得られる真のデータは、CI/CDパイプラインにどのように統合され、リアルタイムなソフトウェア品質フィードバックを支援するか？

主な発見

• 本システムは、Docker Hub を正常に監視し、2019年11月から2020年5月にかけてARMアーキテクチャのサポートが12%増加し、x86-64イメージが15%増加したことを確認した。
• スイスとアルゼンチンに展開されたプロトタイプインfraストラクチャは、etcdとDockerオーケストレーションを用いた地理的に分散された監視の実現可能性を示した。
• LocalStack と sam local を用いたベンチマーキングパイプラインは開発中であり、単体テストのみに依存する場合よりも、サーバessレスアーティファクトのパフォーマンス評価をより正確に行えるようにする。
• Dockerfile に複数のランターを適用することで、コード品質およびセキュリティベストプラクティスの定量的で自動化された評価が可能になった。
• クラスタリングを用いた合意形成による投票により、分散観測からの信頼性の高い真のデータ生成が可能となり、品質メトリクスのノイズと不整合が低減された。
• 予備的な結果では、本観測所がHelmチャートやKubernetes Operatorを含む多様なアーティファクトタイプをサポートできることが示され、今後の広範な統合が計画されている。