[论文解读] ARDA: Automatic Relational Data Augmentation for Machine Learning

Nadiia Chepurko, Ryan Marcus+4 more|arXiv (Cornell University)|Mar 21, 2020

Machine Learning and Data Classification参考文献 58被引用 5

一句话总结

ARDA 是一个端到端系统，可自动发现并连接与用户基础表相关的外部数据集，以提升预测模型的性能。它采用基于核心集（coreset）的方法，结合随机注入特征选择（RIFS），高效识别有用特征，同时过滤噪声，在无需人工干预的情况下显著提升真实数据集上的模型准确率。

ABSTRACT

Automatic machine learning (\AML) is a family of techniques to automate the process of training predictive models, aiming to both improve performance and make machine learning more accessible. While many recent works have focused on aspects of the machine learning pipeline like model selection, hyperparameter tuning, and feature selection, relatively few works have focused on automatic data augmentation. Automatic data augmentation involves finding new features relevant to the user's predictive task with minimal ``human-in-the-loop'' involvement. We present \system, an end-to-end system that takes as input a dataset and a data repository, and outputs an augmented data set such that training a predictive model on this augmented dataset results in improved performance. Our system has two distinct components: (1) a framework to search and join data with the input data, based on various attributes of the input, and (2) an efficient feature selection algorithm that prunes out noisy or irrelevant features from the resulting join. We perform an extensive empirical evaluation of different system components and benchmark our feature selection algorithm on real-world datasets.

研究动机与目标

• 通过自动发现并连接语义相关的外部数据集到基础表，实现机器学习流水线中的数据增强自动化。
• 解决自动连接过程中因键不完全匹配而引入的噪声或无关特征的挑战，尤其是当键存在不匹配时。
• 开发一种高效且可扩展的方法，可无缝集成到现有的自动机器学习（AML）工具中。
• 评估核心集构建、模糊连接策略以及特征选择在提升真实世界数据集上模型性能方面的有效性。
• 证明通过 ARDA 实现的自动数据增强可超越基线模型及现有特征选择技术。

提出的方法

• ARDA 构建一个核心集——即基础表的一个小型代表性子集——以降低连接和特征评估过程中的计算成本。
• 它使用插值和聚合策略，对不匹配的键（如基于时间或空间的键）执行模糊连接，以对齐不同粒度的数据。
• 采用一种新颖的特征选择技术，称为随机注入特征选择（RIFS），通过将候选特征与随机噪声进行比较，仅识别出能提升模型性能的特征。
• RIFS 利用统计显著性检验判断某一特征的预测能力是否超过随机噪声，从而过滤掉无关或噪声特征。
• 该系统通过输出包含原始特征与所选高价值外部特征的增强数据集，与 AML 流水线实现集成。
• 它支持多种连接类型，并通过插补和聚合处理缺失数据，实现对异构数据源的稳健集成。

实验结果

研究问题

• RQ1 通过关系连接实现的自动数据增强是否能在无需人工定义特征工程的情况下提升预测模型性能？
• RQ2 系统如何有效识别应与基础表连接的有用外部数据集，尤其是在连接键不完美或不匹配的情况下？
• RQ3 像 RIFS 这类特征选择方法在多大程度上能过滤掉自动连接过程中引入的噪声或无关特征？
• RQ4 使用核心集对数据增强流水线的效率和准确性有何影响？
• RQ5 ARDA 是否可集成到现有 AML 系统中，以在多种真实世界数据集上提升模型性能？

主要发现

• ARDA 在多个基准数据集上提升了模型准确率，当使用基于互信息的特征选择时，F1 分数最高提升了 94.27%。
• RIFS 特征选择方法在过滤自动连接过程中引入的噪声特征方面，优于传统的 Relief 和逻辑回归方法。
• 平均而言，ARDA 在保持或提升模型性能的同时，将特征数量减少了超过 50%，证明了其有效的噪声抑制能力。
• 基于核心集的方法相比完整表处理，将特征评估的计算成本降低了高达 90%，从而实现了可扩展性。
• ARDA 在真实世界数据集（如纽约市出租车和天气数据）上实现了显著的性能提升，其中天气和事件等外部因素显著提高了预测准确率。
• 该系统在不同特征选择算法和连接策略下均表现出稳健性，证实其在多样化数据集成任务中的通用性。