[论文解读] Dynamic Data-Driven Estimation of Non-Parametric Choice Models

Nam Ho-Nguyen, Fatma Kılınç-Karzan|arXiv (Cornell University)|Feb 19, 2017

Economic and Environmental Valuation参考文献 29被引用 3

一句话总结

本文提出了一种基于动态凸优化的非参数选择模型估计框架，采用原始-对偶在线学习方法，实现了可证明的收敛性和显式的稀疏性保证。该方法引入了一种非光滑对偶镜面下降算法，在静态和动态设置下均能更快地获得更稀疏、更精确的模型，优于现有方法。

ABSTRACT

We study non-parametric estimation of choice models, which were introduced to alleviate unreasonable assumptions in traditional parametric models, and are prevalent in several application areas. Existing literature focuses only on the static observational setting where all of the observations are given upfront, they are not equipped with explicit convergence rate guarantees, and consequently they cannot provide an a priori analysis for the model accuracy vs sparsity trade-off on the actual estimated model returned by their algorithms. As opposed to this, we focus on estimating a non-parametric choice model from observational data in a \emph{dynamic} setting, where observations are obtained over time. We show that choice model estimation can be cast as a convex-concave saddle-point (SP) joint estimation and optimization (JEO) problem, and we provide a primal-dual framework for deriving algorithms to solve this based on online convex optimization. By tailoring our framework carefully to the choice model estimation problem, we obtain tractable algorithms with provable convergence guarantees and explicit bounds on the sparsity of the estimated model. Our numerical experiments confirm the effectiveness of the algorithms derived from our framework.

研究动机与目标

• 解决静态非参数选择模型估计中缺乏收敛速率保证和事前稀疏性-准确性权衡分析的问题。
• 开发一种动态估计框架，其中数据按顺序到达，支持实时模型更新和自适应能力。
• 提出统一的凸-凹鞍点公式化方法，用于建模选择建模中的联合估计与优化。
• 推导出具有显式收敛性和稀疏性边界的一阶算法，克服了先前列生成法和Frank-Wolfe方法的局限性。
• 通过提供估计模型中排名数量（支持集大小）的理论边界，实现对模型准确性与稀疏性之间权衡的事前分析。

提出的方法

• 将非参数选择模型估计公式化为凸-凹鞍点（SP）问题，嵌入模型估计与优化过程。
• 应用在线凸优化（OCO）原理，推导出一种原始-对偶算法，实现新数据到达时的增量式模型更新。
• 设计一种具有常数步长的非光滑对偶镜面下降（MD）算法，利用已知的问题特定常数（ΩY, G）实现收敛性保证。
• 为对偶MD方法引入平滑技术，以处理非光滑范数，从而可与平滑化版本及Frank-Wolfe变体进行比较。
• 使用子问题预言机在每次迭代中识别出最违反的约束（即最具信息量的排名），确保模型稀疏性。
• 建立收敛速率与稀疏性的理论边界，其中迭代次数可直接控制模型的支持集大小（稀疏性）。

实验结果

研究问题

• RQ1 一种用于非参数选择模型估计的动态在线算法能否实现可证明的收敛性和稀疏性保证？
• RQ2 所提出的非光滑对偶镜面下降算法在收敛速度、稀疏性和准确性方面与Frank-Wolfe方法和平滑镜面下降方法相比表现如何？
• RQ3 迭代次数在多大程度上可作为非参数选择模型中模型稀疏性的代理指标？
• RQ4 所提出的框架能否实现对估计模型中准确性与稀疏性之间权衡的事前分析？
• RQ5 与静态批量方法相比，动态设置是否能实现更高效、可扩展的估计？

主要发现

• 非光滑对偶镜面下降（MD_ns）算法在所有测试配置下均实现了最稀疏的模型，且迭代次数最少、求解时间最短。
• 平均迭代次数与模型稀疏性之间存在强相关性（Spearman等级相关系数 ≈ 0.922），验证了迭代次数作为稀疏性可靠代理的有效性。
• MD_ns方法在保持与其他方法相当的测试平均绝对误差（MAE）的同时，显著提升了稀疏性并实现了更快的收敛速度。
• 增加训练子集数量（m）可降低测试MAE，但同时增加模型稀疏性和迭代次数，证实了数据丰富性与模型复杂性之间的预期权衡。
• 尽管需要更多参数调优，非光滑MD算法在整体求解时间和稀疏性方面均优于Frank-Wolfe朴素法和平滑MD方法。
• 收敛性和稀疏性的理论边界明确与迭代次数相关联，从而可实现对模型复杂度和准确性的事前控制。