[論文レビュー] Challenges and Governance Solutions for Data Science Services based on Open Data and APIs

Juha-Pekka Joutsenlahti, Timo Lehtonen+3 more|arXiv (Cornell University)|Mar 12, 2021

Data Quality and Management参考文献 22被引用数 9

ひとこと要約

本論文は、海洋交通分野におけるオープンデータおよびAPIを活用したデータサイエンスサービス構築において、関連データ、歴史的データ、ライセンス、ランタイム品質、APIの進化の5つの主要な課題を特定する。これらの課題に対処するため、信頼性、相互運用性、持続可能性を確保するための強化されたAPIガバナンス手法を提案する。

ABSTRACT

Increasingly common open data and open application programming interfaces (APIs) together with the progress of data science -- such as artificial intelligence (AI) and especially machine learning (ML) -- create opportunities to build novel services by combining data from different sources. In this experience report, we describe our firsthand experiences on open data and in the domain of marine traffic in Finland and Sweden and identified technological opportunities for novel services. We enumerate five challenges that we have encountered with the application of open data: relevant data, historical data, licensing, runtime quality, and API evolution. These challenges affect both business model and technical implementation. We discuss how these challenges could be alleviated by better governance practices for provided open APIs and data.

研究の動機と目的

• オープンデータおよびAPIに基づくデータサイエンスサービス開発における繰り返し発生する技術的およびガバナンス的課題を特定すること。
• 特にフィンランド＝スウェーデン冬期航海システムを対象として、海洋交通データ分野特有の課題を検討すること。
• データの可用性、品質、長期的保守性に関する課題を軽減するための実行可能なAPIガバナンス手法を提案すること。
• 信頼性あるAIおよび機械学習サービスを実現するため、データガバナンス、ITガバナンス、API管理のギャップを埋めること。
• 価値連合内での構造的ガバナンスフレームワークを通じて、持続的かつスケーラブルなデータサイエンスイノベーションを支援すること。

提案手法

• フィントラフィックが提供するDigiTraffic APIの実際の展開を基に、海洋交通分野におけるオープンデータおよびAPIの使用に関する経験に基づく分析を実施した。
• 実務家からのイン sight を通じて、5つの核心的課題（データの関連性、歴史的データへのアクセス、ライセンスの複雑さ、ランタイム品質、APIの進化）を同定した。
• 各課題を、変更管理、ポリシー規定、ライフサイクル整合性、監視などの具体的なAPIガバナンス側面にマッピングした。
• 後方互換性と長期的安定性を確保するため、技術的、法的、運用的側面を統合したガバナンスモデルを提案した。
• APIの整合性とデータ品質を維持するため、統合された監視、監査、一貫したポリシー実施の重要性を強調した。
• APIガバナンスが、API管理プラットフォームおよびゲートウェイと整合した、包括的なデータガバナンスおよびITガバナンスの重要な要素であると位置づけた。

実験結果

リサーチクエスチョン

• RQ1 海洋交通分野におけるオープンデータおよびAPIを活用したデータサイエンスサービス構築における主な技術的および運用的課題は何か？
• RQ2 データの関連性、歴史的データの可用性、ライセンスの問題が、AI駆動型サービスの信頼性およびスケーラビリティにどのように影響するか？
• RQ3 APIガバナンス手法は、ランタイム品質および変化するデータソースに関連するリスクをどのように軽減できるか？
• RQ4 ガバナンスモデルは、オープンデータAPIの後方互換性および長期的保守性をどのように確保できるか？
• RQ5 統合された監視および監査は、データサイエンスサービスの整合性とパフォーマンスを維持する上で果たす役割は何か？

主な発見

• 関連データ、歴史的データ、ライセンス、ランタイム品質、APIの進化という5つの主要な課題は、データサイエンスサービスの技術的実装およびビジネス上の実現可能性に顕著な影響を及ぼす。
• 変更管理、ポリシー規定、ライフサイクル整合性といったAPIガバナンス手法は、APIの進化に伴う後方互換性の維持と混乱の低減に不可欠である。
• ランタイム品質は、データ品質とAPIの信頼性の両方に依存するため、APIライフサイクル全体にわたる一貫した監視、監査、整合性チェックが求められる。
• ライセンスおよびデータアクセス制御は、公式なポリシーの実装と、APIバージョン間での一貫した実行が最適な管理手法である。
• APIガバナンスは、データガバナンスおよびITガバナンスと統合され、データサービスの完全性、解釈可能性、表現の一貫性を確保する必要がある。
• 監視、監査、変更の影響分析を統合した統合ガバナンスモデルにより、オープンデータ上でのAIおよび機械学習サービスの持続的かつスケーラブルな展開が可能になる。