[论文解读] METAM: Goal-Oriented Data Discovery

Sainyam Galhotra, Yue Gong+1 more|arXiv (Cornell University)|Apr 18, 2023

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

Metam 引入了一种以目标为导向的数据发现框架，通过干预查询自动识别并优先处理有用的数据集增强，该方法利用数据特性、效用函数的单调性以及解集的稀疏性。该方法以极少的查询实现了较高的效用增益，在多种机器学习和因果推断任务中优于基线方法。

ABSTRACT

Data is a central component of machine learning and causal inference tasks. The availability of large amounts of data from sources such as open data repositories, data lakes and data marketplaces creates an opportunity to augment data and boost those tasks' performance. However, augmentation techniques rely on a user manually discovering and shortlisting useful candidate augmentations. Existing solutions do not leverage the synergy between discovery and augmentation, thus under exploiting data. In this paper, we introduce METAM, a novel goal-oriented framework that queries the downstream task with a candidate dataset, forming a feedback loop that automatically steers the discovery and augmentation process. To select candidates efficiently, METAM leverages properties of the: i) data, ii) utility function, and iii) solution set size. We show METAM's theoretical guarantees and demonstrate those empirically on a broad set of tasks. All in all, we demonstrate the promise of goal-oriented data discovery to modern data science applications.

研究动机与目标

• 为了解决传统数据发现系统因缺乏目标感知能力而无法识别与任务相关的增强数据的问题。
• 弥合数据发现与数据增强之间的差距，通过构建反馈回路，使下游任务引导发现过程。
• 通过自动化选择可连接的有用数据集，减少数据增强中的手动工作量，而无需用户预先指定标准。
• 通过利用数据的结构性质、效用函数和稀疏解集，优化大规模数据存储库中的查询效率。

提出的方法

• Metam 使用数据概要（如语义相似度、相关性及互信息）对增强进行聚类，以减少冗余探索。
• 采用 Thompson 采样根据预期效用增益对聚类进行排序，优先选择最可能提升下游任务性能的聚类。
• 通过封装任务实现来强制效用函数的单调性，丢弃会降低性能的增强。
• 采用组合测试策略，优先选择较小的连接路径集合而非更大集合，以利用有用增强的稀疏性。
• 采用一种可随时返回结果的算法，根据聚类质量与效用估计值，自适应地查询最有希望的候选对象，逐步改进解。
• 该方法对具体下游任务保持无感知性，仅需一个效用函数来评估性能。

实验结果

研究问题

• RQ1 与传统的先发现后增强的流水线相比，下游任务与数据发现之间的反馈回路是否能更有效地识别出有用的增强数据？
• RQ2 如何利用数据概要中的相似性等数据特性，减少大规模数据存储库中的候选查询数量？
• RQ3 在效用函数中强制单调性在多大程度上能提升发现过程的效率与鲁棒性？
• RQ4 对连接路径进行组合测试是否能有效优先选择稀疏但高价值的增强集合，而无需穷举所有可能？
• RQ5 聚类、排序与自适应查询的集成在现实世界数据发现任务中，对查询效率与解的质量有何影响？

主要发现

• Metam 在数分钟内即可从数百万个候选增强中识别出有用的增强，展现出良好的可扩展性与效率。
• 该框架通过有效结合聚类与 Thompson 采样，避免冗余查询，显著优于所有消融变体（Eq、Nc 与 NcEq）。
• 改变聚类超参数 ε 对查询次数的影响极小，表明其对聚类粒度变化具有鲁棒性。
• Metam 在多种任务中均实现了高效益增益，包括分类、回归、因果推断（如“如果……会怎样”或“如何实现”分析）、实体链接与聚类。
• 消融研究证实，忽略聚类（Nc）或采用均匀排序（Eq）会导致性能显著下降，验证了所提组件之间的协同效应。
• 即使对于非显而易见的增强（如出租车行程数量或杂货店存在情况），该方法依然有效，这些因素与房价相关，但领域专家可能忽略。