[论文解读] Composite Marginal Likelihood Methods for Random Utility Models

Zhibing Zhao, Lirong Xia|arXiv (Cornell University)|Jun 4, 2018

Efficiency Analysis Using DEA被引用 7

一句话总结

本文提出了一种新颖的先排序分解再复合边际似然（RBCML）框架，用于学习随机效用模型（RUMs），包括Plackett-Luce模型。该框架建立了严格对数凹性、一致性和渐近正态性的理论条件，表明连通且对称的权重向量可确保一致估计，并通过实验表明其在统计效率和计算效率方面优于最先进方法。

ABSTRACT

We propose a novel and flexible rank-breaking-then-composite-marginal-likelihood (RBCML) framework for learning random utility models (RUMs), which include the Plackett-Luce model. We characterize conditions for the objective function of RBCML to be strictly log-concave by proving that strict log-concavity is preserved under convolution and marginalization. We characterize necessary and sufficient conditions for RBCML to satisfy consistency and asymptotic normality. Experiments on synthetic data show that RBCML for Gaussian RUMs achieves better statistical efficiency and computational efficiency than the state-of-the-art algorithm and our RBCML for the Plackett-Luce model provides flexible tradeoffs between running time and statistical efficiency.

研究动机与目标

• 为解决由于缺乏闭式似然表达式而导致的一般随机效用模型（RUMs）中基于似然的推断计算不可行问题。
• 开发一种灵活且高效的框架，利用复合边际似然（CML）方法学习RUMs。
• 刻画在所提出的RBCML框架下具有统计有效性的理论条件——对数凹性、一致性与渐近正态性。
• 为设计兼具统计效率与计算速度的高效排序分解图和CML权重向量提供实用指导。
• 在合成数据上实证验证该框架，表明其在效率与准确性方面均优于现有算法。

提出的方法

• 提出一种先排序分解再复合边际似然（RBCML）框架，通过加权无向图 $\mathcal{G}$ 将完整排名转换为成对比较，从而实现高效的似然近似。
• 定义复合对数似然函数 $\text{CLL}_{\mathcal{M}}(\vec{\theta}, P) = \sum_{i_1 \neq i_2} \kappa_{i_1i_2} w_{i_1i_2} \ln p_{i_1i_2}(\vec{\theta})$，其中 $\kappa_{i_1i_2}$ 为 $a_{i_1} \succ a_{i_2}$ 的经验频率，$p_{i_1i_2}(\vec{\theta})$ 为模型预测的概率。
• 通过两个用户自定义组件引入灵活的设计空间：加权排序分解图 $\mathcal{G}$ 和CML权重向量 $\mathcal{W}$，两者均可调节以实现速度与准确性的权衡。
• 证明复合似然的严格对数凹性在卷积与边际化下得以保持，从而确保估计中存在唯一的全局最大值。
• 建立当 $\mathcal{W}$ 连通且对称，且 $\mathcal{G}$ 为Plackett-Luce模型中位置-$k$ 分解的加权并集时，一致性与渐近正态性成立。
• 证明对于具有对称效用分布的RUMs，使用均匀分解图 $\mathcal{G}_{\text{u}}$ 和均匀权重 $\mathcal{W}_{\text{u}}$ 可确保最优理论性质。

实验结果

研究问题

• RQ1 在何种条件下，RBCML目标函数具有严格对数凹性，从而保证存在唯一的全局最优解？
• RQ2 在何种条件下，RBCML估计量具有一致性与渐近正态性，从而确保可靠的统计推断？
• RQ3 排序分解图 $\mathcal{G}$ 与CML权重向量 $\mathcal{W}$ 的何种结构特性可保证Plackett-Luce模型下的一致性？
• RQ4 如何设计RBCML框架以实现计算效率与统计效率之间的灵活权衡？
• RQ5 当将RBCML框架应用于Plackett-Luce模型之外的一般RUMs时，可提供哪些理论保证？

主要发现

• 对于高斯RUMs，使用 $\mathcal{G}_{\text{u}}$ 和 $\mathcal{W}_{\text{u}}$ 的RBCML在统计效率与计算效率方面优于Azari Soufiani等人（2014）提出的GMM算法。
• 对于Plackett-Luce模型，RBCML框架通过可调的 $\mathcal{G}$ 与 $\mathcal{W}$ 实现了运行时间与统计效率之间的灵活权衡，使设计选择可依据数据约束进行调整。
• 复合似然的严格对数凹性在卷积与边际化下得以保持，该结果本身具有独立的理论意义。
• RBCML在Plackett-Luce模型下的一致性成立，当且仅当 $\mathcal{G}$ 为位置-$k$ 分解的加权并集且 $\mathcal{W}$ 连通且对称。
• 对于具有对称效用分布的RUMs，一致性成立当且仅当 $\mathcal{G}$ 为均匀图且 $\mathcal{W}$ 连通且对称。
• 当 $\mathcal{W}$ 连通且对称时，由于复合对数似然的严格凹性，真实参数向量 $\vec{\theta}$ 是估计方程 $\nabla \text{ELL}_{\mathcal{M}}(\vec{\theta}) = \vec{0}$ 的唯一解。