[論文レビュー] Designing Traceability into Big Data Systems

Richard McClatchey, Andrew Branson+3 more|arXiv (Cornell University)|Feb 5, 2015

Scientific Computing and Data Management参考文献 11被引用数 6

ひとこと要約

本論文は、データ項目にメタデータと記述を追加することで、大規模なデータシステムにトレーサビリティを埋め込む記述駆動型設計アプローチを提案する。これにより、多様な分野にまたがる再利用性と一貫性のある管理が可能になる。CERN、医療、業務プロセス管理の分野に適用された結果、緩い型付けと統一されたアイテム管理により、システム設計が簡素化され、クラウド上に配置された大規模データ環境におけるトレーサビリティと保守性が向上した。

ABSTRACT

Providing an appropriate level of accessibility and traceability to data or process elements (so-called Items) in large volumes of data, often Cloud-resident, is an essential requirement in the Big Data era. Enterprise-wide data systems need to be designed from the outset to support usage of such Items across the spectrum of business use rather than from any specific application view. The design philosophy advocated in this paper is to drive the design process using a so-called description-driven approach which enriches models with meta-data and description and focuses the design process on Item re-use, thereby promoting traceability. Details are given of the description-driven design of big data systems at CERN, in health informatics and in business process management. Evidence is presented that the approach leads to design simplicity and consequent ease of management thanks to loose typing and the adoption of a unified approach to Item management and usage.

研究の動機と目的

• 大規模でクラウドベースのビッグデータシステムにおけるデータおよびプロセス要素のトレーサビリティとアクセス可能性を確保する課題に対処すること。
• アプリケーション固有のデータモデリングの限界を克服し、システム間の再利用性と監査可能性を妨げる要因を解消すること。
• 再利用性とトレーサビリティをコア原則として最初からシステムを設計することで、企業全体のデータ管理を促進すること。
• 統一的でメタデータ豊富な設計アプローチが、複雑さを低減し、ビッグデータ環境におけるシステムの管理性を向上させることを実証すること。

提案手法

• データ項目（Items）の意味的特徴と出典を捉えるために、メタデータの強化を重視する記述駆動型設計の哲学を採用する。
• データ項目を厳密なスキーマ制約から分離する緩い型付けを用い、異種システム間での柔軟な再利用を可能にする。
• 異なる分野におけるデータおよびプロセス要素の一貫した取り扱いを可能にする統一されたアイテム管理フレームワークを統合する。
• CERNのデータシステム、ヘルスインフォーマティクス、業務プロセス管理を含む実世界のシナリオにこのアプローチを適用し、スケーラビリティと実用性を検証する。
• メタデータの記述を活用して、分散型でクラウドベースの環境において、データ生成から利用までのエンドツーエンドのトレーサビリティを実現する。
• アイテムをアプリケーション固有の論理ではなく、その記述に基づいてモデル化・管理するようにシステムを設計する。

実験結果

リサーチクエスチョン

• RQ1 トレーサビリティを、後から追加するのではなく、設計段階から体系的かつ埋め込むにはどうすればよいか？
• RQ2 科学、医療、業務プロセスなどの多様な企業分野において、データおよびプロセス要素の再利用性を一貫して実現できる設計パラダイムは何か？
• RQ3 メタデータ豊富な記述駆動型アプローチは、ビッグデータ環境において、どの程度システムの複雑さを低減し、保守性を向上させるのか？
• RQ4 緩い型付けは、クラウド上に配置された大規模データシステムにおいて、どのようにトレーサビリティと相互運用性を支援するのか？
• RQ5 統一されたアイテム管理モデルは、企業環境における異種のデータおよびプロセスワークロードを効果的にカバーできるか？

主な発見

• 記述駆動型アプローチにより、データ項目に豊富なメタデータを直接埋め込むことで、明確なラインレージおよび出典追跡が可能になり、トレーサビリティが顕著に向上した。
• 緩い型付けのおかげで、システムの複雑さが低減し、厳密なスキーマ依存性が回避され、柔軟なデータモデリングが可能になった。
• 統一されたアイテム管理フレームワークにより、CERN、ヘルスインフォーマティクス、業務プロセスシステム間で、データおよびプロセス要素の取り扱いが一貫して実現された。
• 実世界の導入事例の証拠から、標準化され再利用可能なアイテム定義のおかげで、保守性が向上し、統合の負荷が低減した。
• このアプローチにより、データの意味論をアプリケーション論理から分離することで、企業全体でのデータ利用が促進され、再利用性と監査可能性が向上した。
• 本手法は生産環境において実用的であることが実証され、システムの単純さと運用管理性の向上という明確な利益をもたらした。