[论文解读] Learning relationships between data obtained independently

Alexandra Carpentier, Teresa Schlueter|arXiv (Cornell University)|Jan 4, 2016

Machine Learning and Algorithms参考文献 9被引用 6

一句话总结

本文提出了一种新颖的方法，用于在不依赖上下文变量的情况下，从独立收集的数据中学习单调关系，结合分位数匹配与去卷积技术以估计依赖函数。在使用合理的噪声分布时，该方法将均方误差降低了高达50%，即使噪声知识不完全准确，性能也优于标准分位数匹配方法。

ABSTRACT

The aim of this paper is to provide a new method for learning the relationships between data that have been obtained independently. Unlike existing methods like matching, the proposed technique does not require any contextual information, provided that the dependency between the variables of interest is monotone. It can therefore be easily combined with matching in order to exploit the advantages of both methods. This technique can be described as a mix between quantile matching, and deconvolution. We provide for it a theoretical and an empirical validation.

研究动机与目标

• 解决在缺乏上下文数据的情况下，估计独立收集变量之间关系的挑战。
• 克服匹配方法在上下文变量不精确或稀疏时性能下降的局限性。
• 开发一种利用依赖函数单调性以及已知或可估计噪声分布的方法。
• 为现有数据融合技术提供一个理论基础扎实且经实证验证的替代或补充方法。

提出的方法

• 该方法估计两个独立收集变量 $ X $ 和 $ Y $ 之间的依赖函数 $ h $，假设 $ h $ 是单调的，且噪声 $ \epsilon $ 是已知或可估计的。
• 它结合了分位数匹配与去卷积：不直接匹配精确值，而是通过去卷积步骤考虑噪声影响后匹配分位数。
• 去卷积步骤使用已知或估计的噪声分布 $ \xi $ 来校正观测值 $ Y $ 中的测量误差，从而提高估计精度。
• 该方法假设 $ Y = h(X, Z) + \epsilon $，当 $ Z $ 缺失时，$ h $ 在 $ X $ 上单调，从而实现基于分位数的对齐。
• 它利用 $ X $ 和 $ Y $ 的经验分位数构建映射，并通过去卷积步骤优化估计的 $ h $。
• 该方法对噪声分布误设具有鲁棒性——即使使用 $ \xi $ 的合理近似，也能显著优于纯分位数匹配方法。

实验结果

研究问题

• RQ1 当缺乏上下文变量时，能否估计两个独立收集变量之间的函数关系？
• RQ2 依赖函数的单调性如何使我们无需基于协变量匹配即可实现估计？
• RQ3 使用估计或近似的噪声分布进行去卷积，在多大程度上能提升估计性能，相比标准分位数匹配？
• RQ4 该方法对假设噪声分布的误差敏感程度如何？
• RQ5 该方法能否与现有匹配技术有效结合，以增强数据融合效果？

主要发现

• 与纯分位数匹配相比，所提方法将均方误差（MSE）降低了高达50%，使用 $ \xi = U([-2.5, 2.5]) $ 时 MSE 为 8.23，而分位数匹配的 MSE 为 8.62。
• 使用均匀噪声分布 $ U([-0.5, 0.5]) $ 进行去卷积，MSE 为 8.54，优于分位数匹配方法。
• 即使噪声分布误设，如 $ \mathcal{N}(0, 0.1) $，该方法仍优于分位数匹配。
• 在去卷积中使用更大的噪声范围（如 $ U([-2.5, 2.5]) $）能生成更清晰、更精确的底层函数重构结果。
• 即使真实噪声分布未知，只要使用“合理”的近似，该方法仍表现良好。
• 在伦敦选区数据上的实证结果表明，该方法能高保真地重建空间价格模式，优于基线匹配方法。