[論文レビュー] Augmented Data Science: Towards Industrialization and Democratization of Data Science

Hüseyin Uzunalioğlu, Jin Cao+6 more|arXiv (Cornell University)|Sep 12, 2019

Scientific Computing and Data Management被引用数 6

ひとこと要約

本論文では、統計および機械学習を用いてデータ探索、クリーニング、特徴工学、モデル選択を自動化する、ドメインに依存しないエンドツーエンドのフレームワークである拡張データサイエンス（ADS）を紹介する。これにより、データサイエンスにおける人的作業の負担が大幅に軽減される。実世界のデータセットでAUC 0.781の高い性能を達成しており、人的介入を最小限に抑えながら、データサイエンスの工業化と民主化の可能性を示している。

ABSTRACT

Conversion of raw data into insights and knowledge requires substantial amounts of effort from data scientists. Despite breathtaking advances in Machine Learning (ML) and Artificial Intelligence (AI), data scientists still spend the majority of their effort in understanding and then preparing the raw data for ML/AI. The effort is often manual and ad hoc, and requires some level of domain knowledge. The complexity of the effort increases dramatically when data diversity, both in form and context, increases. In this paper, we introduce our solution, Augmented Data Science (ADS), towards addressing this "human bottleneck" in creating value from diverse datasets. ADS is a data-driven approach and relies on statistics and ML to extract insights from any data set in a domain-agnostic way to facilitate the data science process. Key features of ADS are the replacement of rudimentary data exploration and processing steps with automation and the augmentation of data scientist judgment with automatically-generated insights. We present building blocks of our end-to-end solution and provide a case study to exemplify its capabilities.

研究の動機と目的

• データサイエンスにおける「人的ボトル neck（人為的制約）」を解消すること。特に、80％の作業がモデリングではなくデータ準備に費やされるという現状に対処する。
• ドメイン専門知識がなくても、多様なデータセットから迅速かつスケーラブルにインサイトを抽出できるように、データサイエンスの工業化を実現すること。
• 非エキスパートが自動化と知的補助を活用して基本的なデータサイエンスタスクを実行できるように、データサイエンスの民主化を推進すること。
• 生の低品質データを扱えるタスクに依存しない、強固でインタラクティブなシステムを構築し、必要に応じてユーザーの干渉を可能にすること。

提案手法

• ADSは、ドメイン知識を必要とせず、データ構造、品質、関係性を自動的に分析する統計的・機械学習的手法を用いる。
• 教師なしおよび半教師あり手法を適用し、欠損のパターン、相関関係、異常値などのデータ品質の問題を検出する。
• データ駆動型のアプローチにより特徴量を自動生成し、データの意味的意味や関係性を保持することに重点を置く。
• lightGBM やベイジアン最適化といったアルゴリズムを用いたモデル選択パイプラインを採用し、最良のパフォーマンスを示すモデルを同定する。
• ユーザー補助機能により、視覚的・分析的インサイトを提供し、自動化が不十分な場合にエキスパートが干渉できるようにする。
• データ発見、特徴工学、モデルチューニングを1つのインタラクティブなワークフローに統合したエンドツーエンドのパイプラインとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 自動的かつドメインに依存しない技術は、データ準備や特徴工学に要する人的作業を顕著に削減できるか？
• RQ2 ドメイン専門知識がなくても、エンドツーエンドのデータ駆動型システムが高品質な特徴量とモデルを生成する効果的さはいかほどか？
• RQ3 データ品質が低いか複雑な場合に、自動的インサイトが人的判断をどの程度補完できるか？
• RQ4 人的入力が最小限で、このようなシステムはエキスパートが最適化したモデルと同等のパフォーマンスを達成できるか？

主な発見

• ADSは、実世界のクレジットリスクデータセットで、手作業による特徴量生成やモデル選択を一切行わず、自動生成と自動選択のみでAUC 0.781を達成し、強力なベースライン性能を示した。
• システムは体系的な欠損パターン（例：31列中73％が同時に欠損）を特定し、より良いデータ処理意思決定を可能にした。
• 高い相関関係にあるカラムペアや構造的パターン（例：関連性グラフにおけるクリーク）を検出することで、事前の仮定なしに隠れたデータ関係性を明らかにした。
• 手作業によるデータ探索や前処理の必要性が低減され、新規で多様なデータセットから迅速にインサイトを抽出できるようになった。
• 公開リーダーボードで上位にランクインしたモデルは、何百回もの提出とエキスパートによるチューニングを要したが、ADSは数回の自動実行でほぼ最上位のパフォーマンスを達成した。
• 結果から、手作業によるドメイン特化特徴量がなくても、自動特徴工学とモデル選択により競争力のあるモデルが生成可能であることが示されたが、エキスパート知識を統合することでさらにパフォーマンスを向上できる可能性がある。