[论文解读] Bayesian active learning for choice models with deep Gaussian processes

Jie Yang, Diego Klabjan|arXiv (Cornell University)|May 4, 2018

Gaussian Processes and Bayesian Inference参考文献 16被引用 3

一句话总结

该论文提出了一种基于深度高斯过程（DGP）和Gumbel分布噪声的贝叶斯主动学习框架，用于从成对比较中建模个体偏好。通过引入一种新型采集函数，该方法能以最少的查询次数高效识别出最偏好的选择，在合成函数和真实航空行程数据集上均优于基线模型，尤其在计算成本非限制条件下表现更优。

ABSTRACT

In this paper, we propose an active learning algorithm and models which can gradually learn individual's preference through pairwise comparisons. The active learning scheme aims at finding individual's most preferred choice with minimized number of pairwise comparisons. The pairwise comparisons are encoded into probabilistic models based on assumptions of choice models and deep Gaussian processes. The next-to-compare decision is determined by a novel acquisition function. We benchmark the proposed algorithm and models using functions with multiple local optima and one public airline itinerary dataset. The experiments indicate the effectiveness of our active learning algorithm and models.

研究动机与目标

• 开发一种主动学习算法，以最小化识别个体最偏好选择所需的成对比较次数。
• 利用带有Gumbel分布噪声的深度高斯过程建模个体偏好，与嵌套对数极值（nested logit）等离散选择模型假设保持一致。
• 设计一种新型采集函数，指导选择下一个成对比较，以最大化信息增益。
• 在具有多个局部最优解的合成函数和真实世界航空行程数据集上评估该方法。
• 在不同查询预算和计算约束下，比较深度高斯过程模型（DC-DGP）与标准高斯过程模型（DC-GP）及随机搜索的性能表现。

提出的方法

• 该方法在选择特征上建立深度高斯过程（DGP）先验以建模潜在效用，支持超越线性效用函数的非线性偏好建模。
• 采用具有Gumbel分布噪声的概率模型对成对比较进行编码，支持嵌套对数极值（nested logit）和广义极值（GEV）选择模型的假设。
• 在不假设独立性的前提下，对成对比较的联合分布进行建模，从而允许不同选择之间的偏好存在相关性。
• 提出一种新型采集函数，用于选择下一个待比较的选项对，以在偏好空间中平衡探索与利用。
• 该算法按顺序查询最具信息量的成对比较，并通过贝叶斯推断更新潜在效用的后验分布。
• 评估自适应UCB及其他采集策略作为替代方案，以验证在不同查询预算下的鲁棒性。

实验结果

研究问题

• RQ1 带有Gumbel噪声的深度高斯过程能否有效建模选择实验中复杂且非线性的个体偏好结构？
• RQ2 所提出的采集函数是否在最小化找到最偏好选择所需查询次数方面优于标准策略（如UCB或随机选择）？
• RQ3 在不同特征维度和查询预算下，DC-DGP模型与DC-GP模型在性能和计算成本方面如何比较？
• RQ4 在何种场景下，更深层的DGP结构（如DC-DGP5）相比简单模型（如DC-DGP1）能带来显著性能提升？
• RQ5 该方法在真实世界数据（如包含543个实例和17维特征的航空行程数据集）上的可扩展性如何？

主要发现

• 在航空行程数据集上，DC-DGP5模型在20次查询内成功找到最优行程，表现优于DC-DGP1和DC-GP模型。
• 在高维问题（17维）中，所提出的采集函数在前15次查询内优于自适应UCB，但在此之后性能下降。
• 当计算时间是关键考量时，推荐使用自适应UCB的DC-GP模型，尤其适用于高维或时间敏感的场景。
• 在低维或时间受限的场景（如2维），自适应UCB的DC-GP模型在速度与准确率之间提供了良好的权衡。
• 当可容忍较多查询且需高精度时，推荐使用自适应UCB的DC-DGP1模型。
• 当计算成本非限制且仅允许少量查询时，使用所提采集函数的DC-DGP5模型为最优选择。