[论文解读] Learning from Multi-View Structural Data via Structural Factorization Machines.

Chun-Ta Lu, Lifang He+2 more|arXiv (Cornell University)|Apr 10, 2017

Recommender Systems and Techniques被引用 2

一句话总结

本文提出结构化因子分解机（SFMs），一种基于多张量的模型，可在学习多种结构化数据视图的共享潜在空间的同时，自动加权各视图的贡献。SFMs 保留了多路交互关系，实现线性复杂度，在真实世界数据集上的预测准确率和计算效率均优于当前最先进方法。

ABSTRACT

Real-world relations among entities can often be observed and determined by different perspectives/views. For example, the decision made by a user on whether to adopt an item relies on multiple aspects such as the contextual information of the decision, the item's attributes, the user's profile and the reviews given by other users. Different views may exhibit multi-way interactions among entities and provide complementary information. In this paper, we introduce a multi-tensor-based approach that can preserve the underlying structure of multi-view data in a generic predictive model. Specifically, we propose structural factorization machines (SFMs) that learn the common latent spaces shared by multi-view tensors and automatically adjust the importance of each view in the predictive model. Furthermore, the complexity of SFMs is linear in the number of parameters, which make SFMs suitable to large-scale problems. Extensive experiments on real-world datasets demonstrate that the proposed SFMs outperform several state-of-the-art methods in terms of prediction accuracy and computational cost.

研究动机与目标

• 为解决在用户资料、商品属性和评论等多种视角下，实体跨多个视角交互的复杂多视图结构化数据建模挑战。
• 保留多视图数据中固有的多路交互关系和结构关系，以提升预测建模性能。
• 开发一种可扩展的模型，其参数复杂度保持线性，从而适用于大规模数据集。
• 自动学习不同视图在预测过程中的相对重要性，提升模型的适应性和性能。

提出的方法

• SFMs 将多视图数据表示为一组张量，每组张量捕捉特定视角下实体之间的交互关系（例如用户-商品交互、基于属性的特征）。
• 该模型在所有视图上学习一个共享的低秩潜在空间，实现参数共享并降低模型复杂度。
• 引入视图特定的加权机制，根据其预测相关性动态调整各视图对最终预测的贡献。
• 通过保持多路交互模式的结构化张量分解，将各视图间的因子化交互组合起来形成预测函数。
• 通过高效的参数化和高阶交互的因子化，实现模型复杂度与参数数量的线性关系。

实验结果

研究问题

• RQ1 如何在统一的预测框架中有效建模具有复杂多路交互关系的多视图结构化数据？
• RQ2 能否在保留每个视图固有结构关系的前提下，学习跨多个视图的共享潜在空间？
• RQ3 与固定或均匀的视图贡献相比，自动视图加权在多大程度上能提升预测性能？
• RQ4 所提出的模型在大规模真实世界数据集上的计算成本和预测准确率方面具有怎样的可扩展性？

主要发现

• SFMs 在真实世界多视图数据集上的预测准确率显著高于多种最先进方法，证明其在复杂交互关系建模方面的优越性。
• 该模型的复杂度与参数数量呈线性关系，可实现大规模数据的高效训练与推理。
• 自动视图加权机制通过在预测过程中自适应地强调更具信息量的视图，显著提升了性能。
• 实证结果表明，SFMs 在准确率和计算成本方面均优于现有方法，尤其在具有异构性和多方面特征的数据集上表现更优。