[論文レビュー] Open Data: Reverse Engineering and Maintenance Perspective

Holger M. Kienle|arXiv (Cornell University)|Feb 8, 2012

Advanced Data Storage Technologies参考文献 16被引用数 3

ひとこと要約

本稿では、オープンデータ管理における重要な課題、たとえばデータの出自、変換パイプラインの追跡可能性、スキーマ認識に対処するために、リバースエンジニアリングおよびソフトウェア保守技術が有効であると提唱している。本稿は、バージョニング、差分分析、可視化を支援する統合ツールの重要性を強調し、オープンデータパイプラインの検証可能性と再現可能性を確保するものである。

ABSTRACT

Open data is an emerging paradigm to share large and diverse datasets -- primarily from governmental agencies, but also from other organizations -- with the goal to enable the exploitation of the data for societal, academic, and commercial gains. There are now already many datasets available with diverse characteristics in terms of size, encoding and structure. These datasets are often created and maintained in an ad-hoc manner. Thus, open data poses many challenges and there is a need for effective tools and techniques to manage and maintain it. In this paper we argue that software maintenance and reverse engineering have an opportunity to contribute to open data and to shape its future development. From the perspective of reverse engineering research, open data is a new artifact that serves as input for reverse engineering techniques and processes. Specific challenges of open data are document scraping, image processing, and structure/schema recognition. From the perspective of maintenance research, maintenance has to accommodate changes of open data sources by third-party providers, traceability of data transformation pipelines, and quality assurance of data and transformations. We believe that the increasing importance of open data and the research challenges that it brings with it may possibly lead to the emergence of new research streams for reverse engineering as well as for maintenance.

研究の動機と目的

• オープンデータはしばしば一時的な方法で作成・保守されるが、その管理と保守に有効なツールと技術の需要が高まっていることに対応する。
• ドキュメントのスクレイピング、画像処理、および非構造的データソースからのスキーマ認識といった、オープンデータにおける主な課題を特定する。
• 信頼性と再現可能性を確保するため、変換の追跡可能性、バージョニング、データの出自の重要性を強調する。
• オープンデータをリバースエンジニアリングと保守研究の新たなアーティファクトとして位置づけ、従来のソフトウェアやデータベースを超えてこれらの分野を拡張する。
• 品質保証、デバッグ、コラボレーションを支援する分野特化型のツールと技術の開発を提言する。

提案手法

• ETL（抽出、変換、ロード）およびリバースエンジニアリングプロセスを模倣した変換パイプラインとして、オープンデータ処理をモデル化する。
• ノードがデータオペレータ（例：フォーマット変換、検証、集約）を表すグラフを用いたフロー指向のモデルを導入する。
• 手動、準自動、完全自動の変換をサポートし、OCRによる誤認識などのエラーについては人間による検証を組み込む。
• 可視化をクエリインターフェースと統合し、ユーザー生成コンテンツや外部データへのリンクを可能にすることで、データ理解を強化する。
• 再現可能性と変更追跡を支援するため、データソースおよび変換処理のバージョニングとデルタ解析を実装する。
• オープンデータリポジトリのクエリを可能にし、プラットフォーム間の相互運用性を高めるために、SPARQLなどの標準を活用する。

実験結果

リサーチクエスチョン

• RQ1 リバースエンジニアリング技術を、新たな種類のソフトウェアアーティファクトとしてのオープンデータに適応させるにはどうすればよいか？
• RQ2 特にデータの出自と変換の追跡可能性に注目した場合、オープンデータパイプラインの保守における主な課題は何か？
• RQ3 バージョニングと差分分析メカニズムを、オープンデータソースおよび変換処理に効果的に適用するにはどうすればよいか？
• RQ4 可視化とクエリインターフェースは、オープンデータの信頼性と使いやすさを向上させるために果たす役割は何か？
• RQ5 ツールは、オープンデータパイプラインにおけるデータ品質の問題の検出と是正をどのように支援できるか？

主な発見

• 政府や組織から発表されるオープンデータは増加しており、イギリス政府および世界銀行からだけで7,000以上のデータセットが公開されており、体系的な保守およびリバースエンジニアリング支援の必要性が高まっている。
• 本稿は、ドキュメントのスクレイピング、画像処理（例：OCR）、および非構造的ソースからのスキーマ認識を、オープンデータソースのリバースエンジニアリングにおける核心的課題として特定している。
• オープンデータの変換パイプラインは、再現可能性と品質保証を確保するため、バージョニング、出自追跡、デルタ解析をサポートする必要がある。
• ユーザーのインタラクションと信頼性を高めるために、可視化とクエリインターフェースは不可欠である。特に、ユーザー生成コンテンツや外部データリファレンスを統合することで、その効果が増す。
• SPARQLエンドポイントと標準化されたクエリメカニズムの統合により、オープンデータインfra構造の相互運用性と長期的持続可能性が向上する。
• 本稿は、オープンデータが、リバースエンジニアリングと保守分野を新たな影響力のある分野へ拡張する大きな研究機会を提供していると結論づけている。