[论文解读] Active Feature Acquisition with Generative Surrogate Models

Yang Li, Junier B. Oliva|arXiv (Cornell University)|Oct 6, 2020

Time Series Analysis and Forecasting参考文献 42被引用 8

一句话总结

本文提出生成式代理模型强化学习（GSMRL），一种基于模型的主动特征获取（AFA）框架，利用生成式代理模型估计特征依赖关系，提供中间奖励，并输出辅助信息以实现高效决策。该方法通过提升预测准确性并最小化获取成本，在监督与非监督AFA任务中均达到最先进性能。

ABSTRACT

Many real-world situations allow for the acquisition of additional relevant information when making an assessment with limited or uncertain data. However, traditional ML approaches either require all features to be acquired beforehand or regard part of them as missing data that cannot be acquired. In this work, we consider models that perform active feature acquisition (AFA) and query the environment for unobserved features to improve the prediction assessments at evaluation time. Our work reformulates the Markov decision process (MDP) that underlies the AFA problem as a generative modeling task and optimizes a policy via a novel model-based approach. We propose learning a generative surrogate model (GSM) that captures the dependencies among input features to assess potential information gain from acquisitions. The GSM is leveraged to provide intermediate rewards and auxiliary information to aid the agent navigate a complicated high-dimensional action space and sparse rewards. Furthermore, we extend AFA in a task we coin active instance recognition (AIR) for the unsupervised case where the target variables are the unobserved features themselves and the goal is to collect information for a particular instance in a cost-efficient way. Empirical results demonstrate that our approach achieves considerably better performance than previous state of the art methods on both supervised and unsupervised tasks.

研究动机与目标

• 为解决传统机器学习模型在推理时假设特征集完整这一局限，该假设无法反映现实场景中特征可动态获取的情况。
• 开发一种基于强化学习的主动特征获取（AFA）框架，动态选择每个实例中最具有信息量的特征，平衡预测性能与获取成本。
• 提出一种新型非监督AFA任务——主动实例识别（AIR），其目标是恢复未观测到的特征本身，而非预测目标标签。
• 通过生成式代理模型提供中间奖励和辅助信息（如不确定性估计与期望信息增益），提升AFA中的样本效率与信用分配。

提出的方法

• 将AFA问题重新表述为马尔可夫决策过程（MDP），其中状态为已观测特征的集合，动作为选择下一个要获取的特征或终止过程。
• 学习一个生成式代理模型（GSM），以捕捉特征之间的条件依赖关系，具体建模未观测特征x_j在已观测特征x_o条件下的后验分布p(x_j | x_o)。
• 利用GSM基于获取某特征的期望信息增益计算中间奖励，减少稀疏奖励问题，提升长时序轨迹中的信用分配效果。
• 提供辅助信息，包括未观测特征的不确定性估计、未来期望信息增益以及目标输出的不确定性，以指导智能体的探索与决策。
• 结合无模型强化学习（如PPO）与基于GSM的模型规划，通过生成合成轨迹与语义嵌入实现高效策略训练。
• 通过主动实例识别（AIR）将框架扩展至非监督AFA任务，其中目标是重构缺失特征而非预测标签，采用相同的生成建模与奖励机制。

实验结果

研究问题

• RQ1 生成式代理模型能否有效估计特征依赖关系，以指导高维、稀疏奖励环境下的主动特征获取？
• RQ2 通过代理模型提供中间奖励与辅助信息，是否能显著提升AFA中策略学习的效率与性能？
• RQ3 与静态获取（固定顺序）相比，动态特征获取（按实例定制顺序）在预测准确率与成本效率方面表现如何？
• RQ4 所提出的框架能否泛化至非监督AFA任务（如主动实例识别），其目标为恢复缺失特征而非预测标签？
• RQ5 与纯无模型或纯模型基基线相比，模型基与无模型强化学习的结合在收敛速度与最终性能方面提升程度如何？

主要发现

• GSMRL在监督与非监督AFA任务中均优于最先进方法，实现显著更高的预测准确率与更低的获取成本。
• 消融实验表明，若移除中间奖励或辅助信息，性能将大幅下降，证实二者在策略学习中的关键作用。
• 同时包含中间奖励与辅助信息的完整GSMRL模型收敛更快，训练奖励更平稳且更高，优于无代理模型的基线。
• 动态获取策略（按实例自适应选择特征）始终优于使用固定顺序的静态策略。
• 引入终止动作使智能体能够智能判断何时停止获取特征，其性能优于所有获取预算下的强制预算贪婪策略。
• 基于合成轨迹与代理模型生成嵌入的模型基方法优于其他基线，证明了所提GSM设计的优越性。