[论文解读] A two-step learning approach for solving full and almost full cold start problems in dyadic prediction

Tapio Pahikkala, Michiel Stock+4 more|arXiv (Cornell University)|May 17, 2014

Tensor decomposition and applications参考文献 15被引用 4

一句话总结

本文提出了一种新颖的两步学习方法，以解决二元预测中的完全冷启动和几乎完全冷启动问题，即在训练过程中完全或仅一个对象未被观测到。通过结合谱滤波与成对特征学习，该方法在预测性能上略优于张量积核方法，且由于具有闭式解，使得在两种冷启动设置下均可实现高效的交叉验证与实现。

ABSTRACT

Dyadic prediction methods operate on pairs of objects (dyads), aiming to infer labels for out-of-sample dyads. We consider the full and almost full cold start problem in dyadic prediction, a setting that occurs when both objects in an out-of-sample dyad have not been observed during training, or if one of them has been observed, but very few times. A popular approach for addressing this problem is to train a model that makes predictions based on a pairwise feature representation of the dyads, or, in case of kernel methods, based on a tensor product pairwise kernel. As an alternative to such a kernel approach, we introduce a novel two-step learning algorithm that borrows ideas from the fields of pairwise learning and spectral filtering. We show theoretically that the two-step method is very closely related to the tensor product kernel approach, and experimentally that it yields a slightly better predictive performance. Moreover, unlike existing tensor product kernel methods, the two-step method allows closed-form solutions for training and parameter selection via cross-validation estimates both in the full and almost full cold start settings, making the approach much more efficient and straightforward to implement.

研究动机与目标

• 解决二元预测中的完全冷启动和几乎完全冷启动问题，即在训练过程中两个或仅一个对象未被观测到。
• 克服现有基于核的方法在冷启动设置下缺乏闭式解以用于训练和交叉验证的局限性。
• 开发一种方法，使得在训练数据稀疏或缺失一个或两个对象时，能够实现高效、可扩展且理论基础坚实的预测。
• 在低数据环境下，提升相对于现有成对学习和核方法的预测性能。

提出的方法

• 提出一种两步学习算法，首先使用谱滤波学习单个对象（如药物、靶点）的表示，然后将这些表示组合为二元预测。
• 使用二元的张量积特征表示作为输入，使模型能够捕捉对象对之间的交互作用。
• 将学习过程形式化，使得在完全冷启动和几乎完全冷启动设置下，模型训练和通过交叉验证选择超参数均能获得闭式解。
• 理论分析表明，两步方法与张量积核方法在数学上具有强等价性，从而支持其设计合理性。
• 对每类对象（如药物和靶点）独立应用正则化，增强在低数据环境下的泛化能力。
• 使用学习到的两步特征，通过核岭回归或支持向量机实现该方法，从而实现高效的推理。

实验结果

研究问题

• RQ1 两步学习方法是否能在完全冷启动和几乎完全冷启动的二元预测中优于传统的张量积核方法？
• RQ2 所提出的方法是否能在冷启动设置下为模型训练和交叉验证均提供闭式解？
• RQ3 在低数据环境下，两步方法与基于核的方法及单任务学习相比，性能如何？
• RQ4 在何种数据条件下，来自相关任务的辅助信息能为冷启动预测带来正向迁移？

主要发现

• 在完全冷启动和几乎完全冷启动问题中，两步方法的预测性能略优于成对核岭回归（KRR）。
• 与现有核方法不同，两步方法能够为模型训练和交叉验证均提供闭式解，显著提升计算效率。
• 在UniProt和20 Newsgroups数据集上的实验表明，两步方法优于成对KRR，在目标数据有限时性能与单任务学习相当。
• 仅当目标数据稀缺时，才能观察到来自辅助任务的正向迁移；一旦目标数据充足，辅助数据不再提升性能。
• 即使在仅50个训练蛋白的情况下，该方法依然有效；当辅助数据与目标数据平衡时性能达到峰值，但在高数据量下性能最终低于单任务学习。
• 该两步方法在生物信息学、化学和文本相似性等多个领域均表现出鲁棒性，展现出广泛的应用潜力。