[论文解读] Icebreaker: Element-wise Active Information Acquisition with Bayesian Deep Latent Gaussian Model

Wenbo Gong, Sebastian Tschiatschek+4 more|arXiv (Cornell University)|Aug 13, 2019

Machine Learning in Healthcare参考文献 49被引用 8

一句话总结

Icebreaker 提出了一种部分摊销推理的贝叶斯深度潜在高斯模型（BELGAM），以解决冰上启动问题——即在获取每个特征成本高昂、初始训练数据极少的情况下部署机器学习模型。通过量化认知不确定性，它实现了逐元素的主动训练数据获取，在极低数据量下显著优于基于 VAE 的基线模型，在标准基准测试以及真实世界中的医疗和推荐任务中表现优异。

ABSTRACT

In this paper we introduce the ice-start problem, i.e., the challenge of deploying machine learning models when only little or no training data is initially available, and acquiring each feature element of data is associated with costs. This setting is representative for the real-world machine learning applications. For instance, in the health-care domain, when training an AI system for predicting patient metrics from lab tests, obtaining every single measurement comes with a high cost. Active learning, where only the label is associated with a cost does not apply to such problem, because performing all possible lab tests to acquire a new training datum would be costly, as well as unnecessary due to redundancy. We propose Icebreaker, a principled framework to approach the ice-start problem. Icebreaker uses a full Bayesian Deep Latent Gaussian Model (BELGAM) with a novel inference method. Our proposed method combines recent advances in amortized inference and stochastic gradient MCMC to enable fast and accurate posterior inference. By utilizing BELGAM's ability to fully quantify model uncertainty, we also propose two information acquisition functions for imputation and active prediction problems. We demonstrate that BELGAM performs significantly better than the previous VAE (Variational autoencoder) based models, when the data set size is small, using both machine learning benchmarks and real-world recommender systems and health-care applications. Moreover, based on BELGAM, Icebreaker further improves the performance and demonstrate the ability to use minimum amount of the training data to obtain the highest test time performance.

研究动机与目标

• 解决现实世界机器学习中的冰上启动问题，即获取训练数据特征成本高昂且初始数据稀缺。
• 开发一种可扩展的、具备不确定性感知能力的模型，通过量化认知不确定性来指导训练期间有信息量的特征元素选择。
• 设计一个统一框架，支持在极低数据条件下同时实现训练时的主动数据获取与推理时的主动预测。
• 在冷启动场景（如医疗系统中新患者或推荐系统中新用户）中实现有效的数据填补与主动预测。
• 克服现有主动学习方法仅查询标签或假设测试输入完全可观测的局限性。

提出的方法

• 提出一种完整的贝叶斯深度潜在高斯模型（BELGAM），将神经网络权重视为随机变量，以捕捉模型不确定性。
• 开发一种新颖的部分摊销推理方法（PA-BELGAM），结合局部潜在变量的摊销推理与全局参数的随机梯度哈密顿蒙特卡洛（SGHMC）方法。
• 利用 PA-BELGAM 的后验不确定性，设计两种任务特定的信息获取函数：一种用于数据填补，一种用于主动预测。
• 基于信息论的获取函数，结合预测方差与期望信息增益，优先选择具有信息量的特征元素。
• 使用随机梯度 MCMC 训练模型，即使在高维、非共轭后验分布下，也能实现精确的后验近似。
• 将框架整合到生成建模与判别性预测任务中，实现从极低数据量开始的端到端主动学习。

实验结果

研究问题

• RQ1 如何在深度潜在模型中有效量化认知不确定性，以指导低数据场景下的主动特征获取？
• RQ2 在训练数据稀缺的情况下，具备可扩展后验推理的贝叶斯深度潜在模型是否能优于标准的 VAE 基线模型？
• RQ3 如何设计获取函数，使信息量高的特征元素在训练阶段而非仅在推理阶段被优先选择？
• RQ4 在数据填补与预测任务中，训练时的主动数据获取在多大程度上能减少达到高性能所需的样本量？
• RQ5 所提出的框架在医疗与推荐系统等多样化真实应用场景下，是否能在冰上启动条件下实现良好泛化？

主要发现

• 在低数据场景下，PA-BELGAM 的后验推理精度显著优于标准 VAE 基线模型。
• Icebreaker 在标准机器学习基准测试（包括 MNIST 和 Fashion-MNIST）上优于多个强基线模型，且所需训练数据点显著更少。
• 在一项真实世界医疗应用中，Icebreaker 在减少 30–50% 实验室检测次数的情况下，实现了更高的诊断预测准确率。
• 该框架在推荐系统冷启动场景中表现出色，仅需极少用户评分数据即可提升推荐质量。
• 基于模型不确定性的获取函数实现了更高效的数据获取，减少了冗余测量，同时保持或提升了预测性能。
• Icebreaker 成功实现了训练时的主动数据获取与推理时的主动预测，克服了以往方法仅关注单一阶段的局限性。