[论文解读] Learning Features For Relational Data.

Hoang Thanh Lam, Tran Ngoc Minh+3 more|arXiv (Cornell University)|Jan 16, 2018

Data Mining Algorithms and Applications参考文献 10被引用 8

一句话总结

本文提出了一种用于关系型数据的自动化特征学习框架，结合基于启发式规则的系统与深度神经网络，无需人工工程即可发现预测性特征。该方法实现了最先进性能，并在Kaggle竞赛中获得高阶奖牌，是首个已知在复杂关系型数据集上实现此目标的自动化系统。

ABSTRACT

Feature engineering is one of the most important but tedious tasks in data science projects. This work studies automation of feature learning for relational data. We first theoretically proved that learning relevant features from relational data for a given predictive analytics problem is NP-hard. However, it is possible to empirically show that an efficient rule based approach predefining transformations as a priori based on heuristics can extract very useful features from relational data. Indeed, the proposed approach outperformed the state of the art solutions with a significant margin. We further introduce a deep neural network which automatically learns appropriate transformations of relational data into a representation that predicts the target variable well instead of being predefined as a priori by users. In an extensive experiment with Kaggle competitions, the proposed methods could win late medals. To the best of our knowledge, this is the first time an automation system could win medals in Kaggle competitions with complex relational data.

研究动机与目标

• 解决涉及关系型数据库的数据科学项目中繁琐且耗时的特征工程挑战。
• 开发一种自动化系统，从关系型数据中学习适用于预测分析任务的相关特征。
• 通过提出实用且经验有效的解决方案，克服该问题的理论困难性。
• 通过Kaggle竞赛中的真实世界基准测试，证明自动化特征学习的有效性。
• 在复杂关系型数据集上，实现优于最先进方法的性能。

提出的方法

• 从理论上证明从关系型数据中学习特征是NP难问题，确立该问题的计算难度。
• 设计基于规则的方法，利用领域特定的启发式规则预定义特征转换，以高效提取有用特征。
• 实现一个深度神经网络，自动学习将关系型数据转换为预测性表示的最优变换，从而消除对手动规则定义的需求。
• 在关系型数据上端到端训练深度神经网络，将原始表格映射为能有效预测目标变量的表示。
• 在多种关系型数据集上评估基于规则和神经网络的方法，包括来自Kaggle竞赛的数据集。
• 通过实证评估，将性能与最先进特征工程技术进行比较。

实验结果

研究问题

• RQ1 能否通过从关系型数据中自动化学习特征，实现与人工特征工程相当或更优的性能？
• RQ2 是否可以设计一种基于规则的系统，利用启发式方法有效从关系型数据中提取有意义的特征？
• RQ3 深度神经网络能否在无需预先定义人类规则的情况下，端到端学习最优数据转换？
• RQ4 所提出的自动化系统是否在真实世界的关系型数据集上优于现有最先进方法？
• RQ5 自动化特征学习系统是否能在高竞争性数据科学竞赛（如Kaggle）中赢得奖牌？

主要发现

• 理论分析证明从关系型数据中学习特征是NP难问题，为高效启发式方法或自动化学习的必要性提供了依据。
• 基于启发式规则的系统在预测性能上显著优于最先进特征工程方法。
• 深度神经网络组件成功学习了有效的数据表示，且无需预定义的转换规则。
• 组合方法在多个Kaggle竞赛中获得后期奖牌，证明了其在复杂关系型数据上的实际有效性。
• 据作者所知，这是首个在使用关系型数据的Kaggle竞赛中赢得奖牌的自动化系统。