[论文解读] Efficient Pairwise Learning Using Kernel Ridge Regression: an Exact Two-Step Method

Michiel Stock, Tapio Pahikkala+3 more|arXiv (Cornell University)|Jun 14, 2016

Domain Adaptation and Few-Shot Learning参考文献 47被引用 9

一句话总结

本文提出了一种用于高效成对学习的精确两步核岭回归方法，其中基础模型利用辅助数据预测特定任务的输出，随后第二步模型在目标数据上对预测结果进行优化。该方法在计算效率方面具有优势，实现了最先进性能，支持大规模数据集上的快速模型选择与在线学习。

ABSTRACT

Pairwise learning or dyadic prediction concerns the prediction of properties for pairs of objects. It can be seen as an umbrella covering various machine learning problems such as matrix completion, collaborative filtering, multi-task learning, transfer learning, network prediction and zero-shot learning. In this work we analyze kernel-based methods for pairwise learning, with a particular focus on a recently-suggested two-step method. We show that this method offers an appealing alternative for commonly-applied Kronecker-based methods that model dyads by means of pairwise feature representations and pairwise kernels. In a series of theoretical results, we establish correspondences between the two types of methods in terms of linear algebra and spectral filtering, and we analyze their statistical consistency. In addition, the two-step method allows us to establish novel algorithmic shortcuts for efficient training and validation on very large datasets. Putting those properties together, we believe that this simple, yet powerful method can become a standard tool for many problems. Extensive experimental results for a range of practical settings are reported.

研究动机与目标

• 解决在标注数据有限的场景下，特别是在生物系统和推荐系统中，可扩展且准确的成对学习挑战。
• 通过提出一种更灵活且高效的替代方法，克服基于Kronecker核方法的局限性，以应对成对预测任务。
• 通过两步框架中的算法捷径，实现在大规模数据集上快速的模型验证与超参数调优。
• 通过与现有核岭回归方法的对比，证明该方法的统计一致性和谱特性。

提出的方法

• 首先，在辅助任务数据上训练一个核岭回归模型，以预测相关任务的标签。
• 其次，将第一步模型的预测结果作为额外特征，用于在目标数据上训练第二个核岭回归模型。
• 该方法将模型训练分解为两个独立步骤，支持高效的留出验证和小批量处理。
• 利用谱滤波与线性代数对应关系，建立两步方法与基于Kronecker的核岭回归之间的理论联系。
• 采用留一法交叉验证并结合均方误差进行正则化参数选择。
• 通过分批训练和在线学习算法，将该方法应用于大规模数据集。

实验结果

研究问题

• RQ1 与标准的基于Kronecker的核岭回归和独立任务核岭回归相比，两步核岭回归方法在性能和效率方面表现如何？
• RQ2 从谱滤波和线性代数的角度来看，两步方法与现有核岭回归公式的理论关系是什么？
• RQ3 两步方法是否能通过算法捷径实现在超大规模数据集上的高效模型选择与验证？
• RQ4 引入任务特征对性能有何影响，尤其是在训练数据有限的情况下？
• RQ5 在多种成对学习任务中，两步方法在统计一致性与泛化性能方面能保持多大程度的稳定性？

主要发现

• 在预测准确性方面，两步核岭回归方法在训练数据稀缺时始终优于或匹配基线方法。
• 通过留出技巧，该方法实现了高效的模型验证与超参数调优，显著缩短了大规模数据集上的训练时间。
• 学习曲线显示，两步方法在低数据场景下收敛速度明显快于标准岭回归。
• 在训练数据有限时，使用任务特征可显著提升性能，且在训练初期的性能增益最为明显。
• 该方法在多种设置下均保持强大性能，包括基于Wikipedia的标签预测和生物相互作用预测任务。
• 该方法具有鲁棒性，在任何情况下均不会劣于标准岭回归，因此在数据有限时可作为可靠的默认选择。