[论文解读] Learning from networked examples

Yuyi Wang, Jan Ramon+1 more|Lirias (KU Leuven)|May 11, 2014

Machine Learning and Algorithms参考文献 29被引用 3

一句话总结

该论文提出了一种从网络化数据中学习的框架，通过超图建模样本之间的依赖关系，并引入高效的样本加权方案——特别是EQW、IND和FMN——实现了更紧致的一般化误差界。主要贡献在于提出了一种新型的集中不等式，相较于先前工作依赖色数而非最大度数 ω_G，从而为非独立同分布（non-i.i.d.）学习提供了更强的理论保证。

ABSTRACT

Many machine learning algorithms are based on the assumption that training examples are drawn independently. However, this assumption does not hold anymore when learning from a networked sample because two or more training examples may share some common objects, and hence share the features of these shared objects. We show that the classic approach of ignoring this problem potentially can have a harmful effect on the accuracy of statistics, and then consider alternatives. One of these is to only use independent examples, discarding other information. However, this is clearly suboptimal. We analyze sample error bounds in this networked setting, providing significantly improved results. An important component of our approach is formed by efficient sample weighting schemes, which leads to novel concentration inequalities.

研究动机与目标

• 解决经典机器学习中假设训练样本独立同分布（i.i.d.）的局限性，该假设在处理网络化数据时失效。
• 为存在共享对象导致训练实例间存在依赖关系的网络化样本，构建一个理论坚实的学习框架。
• 通过考虑网络化数据中的结构依赖关系，改进泛化误差界，突破i.i.d.假设的限制。
• 提出高效且单调的学习方案，充分利用网络化数据集，同时减轻依赖关系的影响。
• 建立针对网络化随机变量的新集中不等式，为经验风险最小化提供更强的理论保证。

提出的方法

• 使用超图 $ G = (V_G, E_G) $ 表示网络化样本，其中顶点表示对象，超边表示由共享对象构成的样本。
• 提出一种放松的i.i.d.假设，通过超图结构编码依赖关系，从而推广经典i.i.d.假设。
• 提出三种加权方案：EQW（等权重）、IND（独立子集选择）和FMN（基于分数匹配的加权），以处理依赖关系。
• 将FMN加权方案表述为线性规划，以计算最小化依赖诱导方差的最优权重。
• 推导出适用于网络化样本的新集中不等式，其界依赖于最大度数 $ ho_G $，优于Janson（2004）的结果。
• 将新不等式应用于有界经验风险最小化的样本误差，表明在FMN方案下具有改进的收敛速率。

实验结果

研究问题

• RQ1 如何形式化建模网络化数据中因共享对象而产生的训练样本之间的依赖关系？
• RQ2 在训练网络化样本时，忽略依赖关系对标准机器学习算法有何影响？
• RQ3 能否开发一种学习方案，高效利用所有可用的网络化数据，同时保持强泛化保证？
• RQ4 现有针对依赖随机变量的集中不等式如何应用于网络化样本？能否进一步改进？
• RQ5 在非独立同分布设置下，使用不同样本加权方案对泛化误差的理论影响是什么？

主要发现

• 该论文建立了一种针对网络化样本的新集中不等式，其依赖于最大度数 $ ho_G $，相比基于色数的先前方法，可获得更紧致的误差界。
• FMN加权方案通过线性规划计算权重，确保单调性：随着网络化数据集规模增大，泛化误差持续降低。
• 理论界表明，FMN方案的样本误差随 $ u^* $（有效样本量）呈指数衰减，衰减速率依赖于 $ ho_G $，优于EQW和IND方案。
• 定理13的界表明，当 $ u^* o orall $ 时，样本误差 $ ext{Pr}( ext{Err} o ext{Err}) o 0 $，其衰减速率为 $ ext{Pr}( ext{Err} o ext{Err}) o ext{exp}(- u^* heta^2) $，表明具有强收敛性。
• FMN方案在理论保证与实际效率方面均优于EQW和IND，因其充分利用网络化数据的同时有效降低了依赖效应的影响。