[論文レビュー] Data Curation APIs

Amin Beheshti, Alireza Tabebordbar+2 more|arXiv (Cornell University)|Dec 10, 2016

Topic Modeling参考文献 8被引用数 5

ひとこと要約

この論文では、未構造的・準構造的・構造的なデータを、分析を強化するための文脈豊かなデータに変換するためのオープンソースのデータキュレーションAPIを紹介する。自然言語処理や知識ベース連携、類似性計算、分類、インデックス化といった自動抽出機能を提供することで、手作業によるデータキュレーション作業を削減し、エンドユーザーおよびアプリケーションのデータ品質を向上させる。

ABSTRACT

Understanding and analyzing big data is firmly recognized as a powerful and strategic priority. For deeper interpretation of and better intelligence with big data, it is important to transform raw data (unstructured, semi-structured and structured data sources, e.g., text, video, image data sets) into curated data: contextualized data and knowledge that is maintained and made available for use by end-users and applications. In particular, data curation acts as the glue between raw data and analytics, providing an abstraction layer that relieves users from time consuming, tedious and error prone curation tasks. In this context, the data curation process becomes a vital analytics asset for increasing added value and insights. In this paper, we identify and implement a set of curation APIs and make them available (on GitHub) to researchers and developers to assist them transforming their raw data into curated data. The curation APIs enable developers to easily add features - such as extracting keyword, part of speech, and named entities such as Persons, Locations, Organizations, Companies, Products, Diseases, Drugs, etc.; providing synonyms and stems for extracted information items leveraging lexical knowledge bases for the English language such as WordNet; linking extracted entities to external knowledge bases such as Google Knowledge Graph and Wikidata; discovering similarity among the extracted information items, such as calculating similarity between string, number, date and time data; classifying, sorting and categorizing data into various types, forms or any other distinct class; and indexing structured and unstructured data - into their applications.

研究の動機と目的

• ビッグデータ分析パイプラインにおけるスケーラブルで自動化されたデータキュレーションの増大するニーズに対応すること。
• 複雑な操作を再利用可能なAPIに抽象化することで、手作業によるデータキュレーションの時間とミスの多い性質を軽減すること。
• 開発者に名前付きエンティティ、同義語、外部知識リンクなどの意味的メタデータをデータに付加するための標準化されたインターフェースを提供すること。
• 多様なデータタイプの標準化と文脈化を可能にすることで、データ品質と分析インサイトを向上させること。
• GitHub上でモジュール化され、バージョニングされたAPIとして公開することで、相互運用性と拡張性を支援すること。

提案手法

• コアのデータキュレーション操作をカプセル化したAPIの設計。
• キーワード、品詞、名前付きエンティティ（例：人物、組織、疾患）の抽出に自然言語処理（NLP）技術の実装。
• WordNetなどの語彙的知識ベースを活用し、抽出された語句の同義語や語幹を生成。
• Google Knowledge Graph や Wikidata などの外部知識ベースを統合し、抽出されたエンティティをリンク・強化。
• 文字列、数値、日付、時刻などの異なるデータタイプ間で類似性を計算するアルゴリズムの適用。
• 事前に定義されたまたは動的タイプに分類・ソート・カテゴリ化する機能に加え、効率的な検索を可能にするインデックス化のサポート。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてデータキュレーションを再利用可能で合成可能なAPIとして抽象化し、分析パイプラインへの統合を容易にできるか？
• RQ2 未処理のデータを意味的に豊かでキュレーションされたデータに変換するための最も効果的なコア操作のセットは何か？
• RQ3 自動化されたキュレーションは、手作業の負担をどれほど削減し、データ品質と一貫性を向上させられるか？
• RQ4 テキスト、画像、動画、構造化データといった多様なデータタイプを、共通のAPIインターフェースで一貫して処理・強化できるか？
• RQ5 外部知識ベースや語彙的リソースは、キュレーションされたデータの意味的価値をどのように向上させるか？

主な発見

• 提案されたキュレーションAPIは、名前付きエンティティ認識、同義語生成、外部知識リンクといった複数のデータ強化タスクを自動化することに成功した。
• WordNetとの統合により、同義語と語幹抽出による一貫性のある語句正規化が可能になり、データの一貫性が向上した。
• 抽出されたエンティティをWikidataやGoogle Knowledge Graphにリンクさせることで、意味的豊かさが向上し、知識グラフベースの推論が可能になった。
• 日付、数値、文字列などの異なるデータタイプ間での類似性計算により、データの重複除去と関係の発見が可能になった。
• 分類およびインデックス化機能により、構造的・非構造的両形式のキュレーションデータのスケーラブルな整理と検索が可能になった。
• GitHub上でのオープンソース公開により、コミュニティによる採用、拡張、多様なデータ分析アプリケーションへの統合が促進された。