[論文レビュー] Data Curation with Deep Learning [Vision]

Saravanan Thirumuruganathan, Nan Tang+2 more|arXiv (Cornell University)|Mar 4, 2018

Data Quality and Management参考文献 58被引用数 6

ひとこと要約

このビジョンペーパーは、特徴工学、データ不足、タスク固有のアーキテクチャの欠如といった根幹的な課題に取り組むことで、深層学習（DL）を活用してデータクリーニングを変革することを提案する。マルチモーダル表現の学習、データクリーニングに配慮したDLアーキテクチャの設計、データ効率の良いDL技術の適応というロードマップを提示し、データ発見、統合、クリーニングにおける人的作業の削減を図る。

ABSTRACT

Data curation - the process of discovering, integrating, and cleaning data - is one of the oldest, hardest, yet inevitable data management problems. Despite decades of efforts from both researchers and practitioners, it is still one of the most time consuming and least enjoyable work of data scientists. In most organizations, data curation plays an important role so as to fully unlock the value of big data. Unfortunately, the current solutions are not keeping up with the ever-changing data ecosystem, because they often require substantially high human cost. Meanwhile, deep learning is making strides in achieving remarkable successes in multiple areas, such as image recognition, natural language processing, and speech recognition. In this vision paper, we explore how some of the fundamental innovations in deep learning could be leveraged to improve existing data curation solutions and to help build new ones. In particular, we provide a thorough overview of the current deep learning landscape, and identify interesting research opportunities and dispel common myths. We hope that the synthesis of these important domains will unleash a series of research activities that will lead to significantly improved solutions for many data curation tasks.

研究の動機と目的

• データサイエンティストの作業時間の最大80％を占めるデータクリーニングの人的コストを低減すること。
• 手動による特徴工学とラベル付きデータに依存する既存のデータクリーニングソリューションの限界を克服すること。
• ビジョンやNLP分野における深層学習の成功を活用し、重複除去、エラー検出、エンティティマッチングなどのデータクリーニングタスクを自動化・改善すること。
• ベンチマークとドメイン固有のアーキテクチャを備えた、DLのデータクリーニング分野への採用をガイドする体系的な研究エコシステム（tac）を構築すること。
• 企業のデータクリーニング環境における主なリスク、たとえばデータ不足、モデルの解釈可能性、アドバーシャル攻撃への脆弱性を軽減すること。

提案手法

• 構造化データ、非構造化データ、グラフデータ、時系列データといったマルチモーダルデータに対して表現学習を提案し、手動による特徴工学に依存せずに特徴を自動的に学習する。
• データクリーニングタスクに特化したドメイン固有の深層学習アーキテクチャを設計し、ビジョン分野のCNNやNLP分野のRNNに類似した構造を採用する。
• 大規模なラベル付きデータセットに依存しないように、転移学習、未ラベルデータを用いた自己教師付き事前学習、弱い監督学習といったデータ効率の良いDL技術を適応する。
• データ修復や品質意思決定における解釈可能な予測を提供するため、説明可能なAI（XAI）手法を統合する。
• ImageNet や TPC をインspired にした、評価の標準化とDL駆動のデータクリーニング分野における研究の加速を目的としたベンチマークエコシステム（tac）を構築する。
• データ発見やエンティティマッチングといったタスクに、既存のDL技術を新たな応用で適用し、アテンションメカニズムとタプル・カラムの埋め込み空間を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層学習をどのように活用すれば、データクリーニングにおける特徴工学の自動化を実現し、ドメイン専門知識への依存を減らせるか？
• RQ2 重複除去やエラー検出といったデータクリーニングタスクにカスタマイズ可能な、最も有望な深層学習アーキテクチャは何か？
• RQ3 ラベル付きデータが不足し、高コストであるデータクリーニング環境において、データ集約型の深層学習モデルを効果的に適用するにはどうすればよいか？
• RQ4 ドメインエキスパートが信頼し、使いやすいようにするため、データクリーニングにおける深層学習モデルの解釈性を向上するにはどのような技術が必要か？
• RQ5 DL駆動のデータクリーニング分野における研究と評価を加速するため、標準化されたベンチマークエコシステムをどのように設計すればよいか？

主な発見

• 深層学習により、特徴学習とルール生成の自動化が可能となり、データクリーニングに費やす人的作業を大幅に削減できる。その結果、80％の作業時間を削減できる可能性がある。
• 構造化データ、テキスト、グラフ、画像といったマルチモーダルデータからの表現学習により、汎用的かつ再利用可能な特徴が得られ、多様なデータクリーニングタスクのパフォーマンス向上が可能になる。
• 特に自己教師付き事前学習と転移学習を活用した、既存のDL技術の適応は、データクリーニング分野におけるデータ不足問題を効果的に解決し、大規模なラベル付きデータセットへの依存を低減できる。
• タプル、カラム、制約といったデータクリーニング固有のオブジェクトに特化して設計された新規DLアーキテクチャは、データ固有のパターンをより効果的に捉えることができ、汎用モデルを上回る性能を発揮する。
• データクリーニングのためのDLモデルに説明可能なAI（XAI）手法を統合することで、データ修復意思決定の根拠を明確にし、信頼性と使いやすさを向上させられる。
• 標準化されたベンチマークエコシステム（tac）は、モデルの比較、イノベーションの加速、研究の再現可能性を確保するために不可欠である。