[论文解读] Social Discrete Choice Models

Danqing Zhang, Kimon Fountoulakis+3 more|arXiv (Cornell University)|Mar 22, 2017

Recommender Systems and Techniques参考文献 18被引用 4

一句话总结

本文提出两种可扩展的图正则化离散选择模型——局部逻辑回归图正则化（LLGR）与潜在类别图正则化（LCGR）——通过整合社交网络结构与潜在用户群体，提升个体选择的预测性能。在合成数据、真实世界数据及大规模社交网络数据上，该模型在选择受同伴行为影响而非仅由可观测特征决定时，表现优于标准方法。

ABSTRACT

Human decision making underlies data generating process in multiple application areas, and models explaining and predicting choices made by individuals are in high demand. Discrete choice models are widely studied in economics and computational social sciences. As digital social networking facilitates information flow and spread of influence between individuals, new advances in modeling are needed to incorporate social information into these models in addition to characteristic features affecting individual choices. In this paper, we propose two novel models with scalable training algorithms: local logistics graph regularization (LLGR) and latent class graph regularization (LCGR) models. We add social regularization to represent similarity between friends, and we introduce latent classes to account for possible preference discrepancies between different social groups. Training of the LLGR model is performed using alternating direction method of multipliers (ADMM), and training of the LCGR model is performed using a specialized Monte Carlo expectation maximization (MCEM) algorithm. Scalability to large graphs is achieved by parallelizing computation in both the expectation and the maximization steps. The LCGR model is the first latent class classification model that incorporates social relationships among individuals represented by a given graph. To evaluate our two models, we consider three classes of data to illustrate a typical large-scale use case in internet and social media applications. We experiment on synthetic datasets to empirically explain when the proposed model is better than vanilla classification models that do not exploit graph structure. We also experiment on real-world data, including both small scale and large scale real-world datasets, to demonstrate on which types of datasets our model can be expected to outperform state-of-the-art models.

研究动机与目标

• 解决传统离散选择模型忽略社会影响与网络结构在决策中作用的局限性。
• 开发可扩展、计算高效的模型，整合社交网络数据与个体特征以预测选择。
• 探究潜在类别如何捕捉社交网络中的群体偏好差异。
• 在多样化数据集（合成数据、小型真实世界数据、大规模互联网数据）上评估模型，以证明其在性能与鲁棒性上优于最先进方法。

提出的方法

• 提出局部逻辑回归图正则化（LLGR），在逻辑回归中增加基于图的正则化项，以在社交网络中强制连接个体之间的相似性。
• 采用交替方向乘子法（ADMM）实现LLGR模型的可扩展、可并行训练，从而在大规模图上实现高效优化。
• 提出潜在类别图正则化（LCGR），一种混合模型，结合参数化选择模型与潜在类别结构，以捕捉特定群体的偏好。
• 使用专门设计的马尔可夫链蒙特卡洛期望最大化（MCEM）算法训练LCGR，通过将图划分为社区实现分块MCMC采样，以加速计算。
• 在MCEM的E步与M步中均应用并行化，以提升LCGR在大规模图上的计算效率。
• 引入社区检测预处理步骤，以支持高效分块MCMC采样，降低对潜在变量进行积分的计算负担。

实验结果

研究问题

• RQ1 在何种条件下，引入社交网络结构能显著提升离散选择预测性能，超越仅依赖个体特征的模型？
• RQ2 LCGR模型中的潜在类别如何帮助捕捉在个体层面模型中不可见的群体偏好模式？
• RQ3 所提出的模型能否在高连通性与大连通分量的大规模真实世界网络中，超越最先进的半监督图分类方法？
• RQ4 在理想化与真实世界场景下，超参数如类别连通性（β）与选择偏好（w）如何影响模型性能？
• RQ5 相较于忽略网络结构的模型，社会影响（如青少年吸烟中的同伴行为）在模型预测准确率中的体现程度如何？

主要发现

• 在合成数据上，当标签在特征空间中不可分但图空间中呈现聚类时，所提模型优于基线分类模型，证明了社交结构的价值。
• 在1995–1997年青少年吸烟数据集上，LCGR模型显著优于非社交模型，尤其在1997年社会规范成为吸烟行为主导因素时表现更优。
• 在在线零售账户图上的大规模欺诈检测任务中，模型在半监督图方法中表现出更优的鲁棒性，尤其在平均度高且连通分量大的图上。
• LLGR模型通过基于ADMM的并行化实现高可扩展性，适用于大规模图；而LCGR在计算复杂度较高代价下提供了更优性能。
• 结合社区划分的分块MCMC采样显著降低计算时间，且并行分块MCMC在Facebook用户好友网络上相比标准与仅分块MCMC实现显著提速。
• 模型表明，社会影响与潜在群体结构在建模生活方式选择（如吸烟、骑车或暴食）中至关重要，其中同伴行为在决策中发挥的作用超越个体特征。