[論文レビュー] ARDA: Automatic Relational Data Augmentation for Machine Learning

Nadiia Chepurko, Ryan Marcus+4 more|arXiv (Cornell University)|Mar 21, 2020

Machine Learning and Data Classification参考文献 58被引用数 5

ひとこと要約

ARDA は、ユーザーのベーステーブルに関連する外部データセットを自動で発見・結合することで予測モデルの性能を向上させるエンドツーエンドのシステムである。ARDA はコアセットベースのアプローチとランダムインジェクション特徴選択（RIFS）を用い、ノイズを除外しながら有用な特徴を効率的に特定する。これにより、手動による介入なしに実世界のデータセットでモデルの精度が顕著に向上する。

ABSTRACT

Automatic machine learning (\AML) is a family of techniques to automate the process of training predictive models, aiming to both improve performance and make machine learning more accessible. While many recent works have focused on aspects of the machine learning pipeline like model selection, hyperparameter tuning, and feature selection, relatively few works have focused on automatic data augmentation. Automatic data augmentation involves finding new features relevant to the user's predictive task with minimal ``human-in-the-loop'' involvement. We present \system, an end-to-end system that takes as input a dataset and a data repository, and outputs an augmented data set such that training a predictive model on this augmented dataset results in improved performance. Our system has two distinct components: (1) a framework to search and join data with the input data, based on various attributes of the input, and (2) an efficient feature selection algorithm that prunes out noisy or irrelevant features from the resulting join. We perform an extensive empirical evaluation of different system components and benchmark our feature selection algorithm on real-world datasets.

研究の動機と目的

• ベーステーブルに意味的に関連する外部データセットを自動で発見・結合することで、機械学習パイプラインにおけるデータ拡張を自動化すること。
• キーや一致が完全でない場合に生じるノイズや関係のない特徴の導入という課題に対処すること、特にキーマッチングが不完全な場合に有効であるようにすること。
• 既存の自動機械学習（AML）ツールとシームレスに統合できる、効率的でスケーラブルな手法を開発すること。
• コアセット構築、ファジー結合戦略、特徴選択の有効性が、実世界のデータセットにおけるモデル性能向上にどのように寄与するかを評価すること。
• ARDA を用いた自動データ拡張が、ベースラインモデルや既存の特徴選択技術を上回ることを実証すること。

提案手法

• ARDA は、結合処理や特徴評価中の計算コストを削減するために、ベーステーブルの小さな代表的サブセット（コアセット）を構築する。
• 時間的要因や空間的要因などの不一致するキーに対して、補間と集約戦略を用いてファジー結合を実行し、異なる粒度を一致させる。
• 候補となる特徴をランダムノイズと比較することで、モデル性能を向上させるもののみを同定する、新しい特徴選択手法であるランダムインジェクション特徴選択（RIFS）を採用する。
• RIFS は統計的有意性検定を用い、特徴の予測性能がランダムノイズを上回るかどうかを判断することで、関係のないまたはノイズの多い特徴を除外する。
• AML パイプラインへの統合を図るために、元の特徴に加え、選択された高価値の外部特徴を含む拡張済みデータセットを出力する。
• さまざまな結合タイプをサポートし、欠損値処理には補完と集約を用いることで、異種のデータソースの堅牢な統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 関係的結合による自動データ拡張は、人為的な特徴工学なしに予測モデルの性能を向上させることができるか？
• RQ2 キーマッチングが不完全または不一致する場合でも、ベーステーブルに結合可能な有用な外部データセットを効果的に同定する方法は何か？
• RQ3 RIFS のような特徴選択手法は、自動結合によって導入されるノイズや関係のない特徴をどの程度効果的に除外できるか？
• RQ4 コアセットの使用は、データ拡張パイプラインの効率性と正確性にどのような影響を与えるか？
• RQ5 ARDA は、既存のAMLシステムに統合可能であり、多様な実世界のデータセットでモデル性能を向上させることができるか？

主な発見

• ARDA は複数のベンチマークデータセットでモデル精度を向上させ、相互情報に基づく特徴選択を用いた場合、F1スコアが最大で94.27%向上した。
• RIFS 特徴選択手法は、リリーフ法やロジスティック回帰といった従来手法を上回り、結合によって導入されたノイズ特徴を効果的に除外した。
• 平均して、ARDA は特徴数を50%以上削減しながらも、モデル性能を維持または向上させ、ノイズ抑制の有効性を示した。
• コアセットベースのアプローチにより、全テーブル処理と比較して特徴評価の計算コストを最大90%まで削減でき、スケーラビリティが向上した。
• 実世界のデータセット、例えばニューヨークのタクシーと天気データにおいて、外部要因（天候やイベント）が予測精度を向上させ、顕著な性能向上を達成した。
• 異なる特徴選択アルゴリズムや結合戦略に対しても、ARDA は堅牢な性能を示し、多様なデータ統合タスクへの汎用性を確認した。