[論文レビュー] A Case for Data Commons: Towards Data Science as a Service

Robert L. Grossman, Allison P. Heath+3 more|arXiv (Cornell University)|Apr 9, 2016

Scientific Computing and Data Management参考文献 10被引用数 11

ひとこと要約

本論文は、データ、ストレージ、コンピューティングを共有可能にし、共通の分析ツールを備えたスケーラブルで相互運用可能なインフラとしてのデータコモンズを提唱する。複数のデータコモンズにわたる永続的ID、API、データポータビリティ、計算課金モデルを統合することで、大規模なスケールで再現可能で協働的かつ拡張可能なデータサイエンスを実現する。事例研究により、科学的リサーチワークフローにおけるその実現可能性が示されている。

ABSTRACT

As the amount of scientific data continues to grow at ever faster rates, the research community is increasingly in need of flexible computational infrastructure that can support the entirety of the data science lifecycle, including long-term data storage, data exploration and discovery services, and compute capabilities to support data analysis and re-analysis, as new data are added and as scientific pipelines are refined. We describe our experience developing data commons-- interoperable infrastructure that co-locates data, storage, and compute with common analysis tools--and present several cases studies. Across these case studies, several common requirements emerge, including the need for persistent digital identifier and metadata services, APIs, data portability, pay for compute capabilities, and data peering agreements between data commons. Though many challenges, including sustainability and developing appropriate standards remain, interoperable data commons bring us one step closer to effective Data Science as Service for the scientific research community.

研究の動機と目的

• 研究者が処理できる能力を上回るほどの大規模な科学的データセットを管理・分析するという増大する課題に対処する。
• データ、ストレージ、コンピューティングを共有可能にし、共通の分析ツールを備えた持続可能で相互運用可能なサイバインfraを構築する。
• 永続的デジタル識別子とバージョン管理されたデータサービスを提供することで、再現性と長期的なデータアクセスを実現する。
• 小規模から大規模な分析まで、計算リソースのニーズのスケーラーにわたる多様な研究ワークロードをサポートする。
• 標準化されたAPI、認証、データピアリング合意により、データコモンズ間の相互運用性を促進する。

提案手法

• データ、ストレージ、ハイパフォーマンスコンピューティングリソースと事前にインストールされたデータサイエンスツールを統合したプラットフォームとしてのデータコモンズを設計・展開する。
• サービス指向アーキテクチャを実装し、データコモンズとマルチペタバイト規模のサイエンスクラウド、Open Science Data Cloud (OSDC) 間の相互運用性を実現する。
• ソフトウェアとしてのサービス（SaaS）とプラットフォームとしてのサービス（PaaS）モデルを活用し、オンデマンドでの計算環境と分析パイプラインへのアクセスを提供する。
• 永続的デジタル識別子、メタデータサービス、セキュアな認証/承認プロトコルを含む、標準化されたデータ管理慣行を確立する。
• 支払い制の計算モデルとデータポータビリティ機能を導入することで、柔軟で費用対効果の高い利用を可能にする。
• 大規模なデータ分析と再分析を管理するための運用フレームワークとして「AnalyticOps」の概念を導入する。これはソフトウェア開発におけるDevOpsに類似している。

実験結果

リサーチクエスチョン

• RQ1 データコモンズは、ストレージ、探索、分析、再現性を含むデータサイエンスライフサイクルをどのように支援できるか？
• RQ2 独立した複数のデータコモンズ間の相互運用性を実現するための技術的・組織的標準は何か？
• RQ3 単一のインフラストラクチャ内で、小規模な分析ワークロードと大規模な分析ワークロードの両方を効果的にサポートするにはどうすればよいか？
• RQ4 永続的識別子、API、データポータビリティは、持続可能で引用可能なデータサイエンスを実現するために果たす役割は何か？
• RQ5 ピアツーピア相互運用性と共有サービスを通じて、データコモンズはどのように連携し合い、連携する「データのウェブ」へと進化できるか？

主な発見

• データコモンズは、データとコンピューティングを共有可能にすることで、データ量が増加するに従い、再分析のコストと複雑さを顕著に低減する。
• 複数の大規模データセットを共有可能にすることで、小規模から大規模な計算リソースの割り当てのすべてのスケールで、重要な科学的発見が得られる。
• プライベートで管理されるサイバポッドとパブリッククラウドサービスを組み合わせたハイブリッドクラウドモデルは、スケールが大きくなると、パブリッククラウド単体よりもコストメリットがある。
• 標準化されたAPI、認証プロトコル、データピアリング合意を通じて、データコモンズ間の相互運用性が達成可能であり、これによりコモンズ間の分析サービスが可能になる。
• 大規模なデータ分析パイプラインの管理を支援する「AnalyticOps」という手法の登場により、効率的で繰り返し可能でスケーラブルなデータサイエンスワークフローが実現できる。
• データコモンズは、複数のコモンズが相互に連携する未来の「データのウェブ」の基盤的要素として機能し、データ相関や発見といった高度なサービスの実現を可能にする。