[论文解读] Data Fusion: Theory, Methods, and Applications

Marek Gągolewski|arXiv (Cornell University)|Dec 1, 2015

Data Quality and Management被引用 9

一句话总结

本专著提出了一套全面的理论与应用框架，用于数据融合，聚焦于聚合函数作为整合异构数据源的核心工具。它引入了数学基础、计算方法，并在机器学习、决策系统和生物信息学等领域的实际应用中展开探讨，关键贡献包括对融合过程的形式化建模，以及通过先进的聚合技术实现稳健、可扩展的数据集成。

ABSTRACT

A proper fusion of complex data is of interest to many researchers in diverse fields, including computational statistics, computational geometry, bioinformatics, machine learning, pattern recognition, quality management, engineering, statistics, finance, economics, etc. It plays a crucial role in: synthetic description of data processes or whole domains, creation of rule bases for approximate reasoning tasks, reaching consensus and selection of the optimal strategy in decision support systems, imputation of missing values, data deduplication and consolidation, record linkage across heterogeneous databases, and clustering. This open-access research monograph integrates the spread-out results from different domains using the methodology of the well-established classical aggregation framework, introduces researchers and practitioners to Aggregation 2.0, as well as points out the challenges and interesting directions for further research.

研究动机与目标

• 建立基于聚合函数的统一理论框架，以解决单源数据分析的局限性。
• 弥合经典聚合理论与复杂、高维数据环境中现代计算挑战之间的鸿沟。
• 在实际应用中实现异构数据源的可靠、高效且可解释的融合，例如决策支持、模式识别和机器学习。
• 将聚合理论扩展至非数值和序数（语言）数据，拓展其在传统数值区间之外的应用范围。
• 提供实用的算法与计算工具——特别是通过C++与R的集成——以实现在真实系统中的数据融合实现。

提出的方法

• 将数据融合形式化为在实区间 [a,b] 上使用数学聚合函数对多个数据实体进行聚合，包括均值、t-范数和拷贝函数。
• 引入并分析在偏序集上的聚合函数，特别是序数和语言尺度，以处理非数值和定性数据。
• 采用动态规划和优先队列等计算技术，实现基于距离的融合的高效算法，包括Levenshtein距离和Dinu排名距离。
• 通过迭代精炼和基于优先级的选择，开发近似中心点搜索算法，以降低在大型半度量空间中的计算成本。
• 通过Rcpp将C++与R集成，实现融合算法的高性能实现，确保可扩展性和实际部署。
• 将该框架应用于具体问题，如字符串中心点计算、数据去重、记录链接以及通过弱分类器聚合实现的集成学习。

实验结果

研究问题

• RQ1 如何正式扩展聚合函数以处理数据融合系统中的非数值、序数和语言数据？
• RQ2 在一般半度量空间中，针对大规模异构数据集，近似中心点和中心点的最有效计算策略是什么？
• RQ3 数据融合在何种方式下可提升机器学习模型的准确性和鲁棒性，特别是在随机森林等集成方法中？
• RQ4 数据融合在何种方式下可减少信息过载并提高复杂数据处理流水线的运行时效率？
• RQ5 将数据融合作为决策支持和知识发现系统中的核心组件，其理论与实际影响是什么？

主要发现

• 使用聚合函数显著提升了数据融合的质量，通过系统化、数学基础坚实的多源数据组合方式，减少了对单一点测量的依赖。
• 近似中心点搜索算法通过利用优先队列和迭代精炼，在大规模场景下实现了显著的性能提升，其计算复杂度相比穷举搜索有所降低。
• 通过动态规划实现的基于Levenshtein距离的字符串中心点计算，能够准确融合文本数据，对去重和记录链接任务至关重要。
• Dinu排名距离度量提供了一种稳健且对顺序敏感的比较方法，适用于排名数据的融合，在信息检索和排名聚合中表现有效。
• 通过Rcpp实现的C++与R的集成，使融合算法的高性能执行成为可能，使先进聚合技术在真实世界大规模数据应用中可行。
• 在生物信息学、金融和质量管理等领域的实证验证表明，通过聚合函数实现的数据融合在决策准确性和系统可靠性方面优于单源方法。