[论文解读] Active Feature Acquisition with Supervised Matrix Completion

Sheng-Jun Huang, Miao Xu+4 more|arXiv (Cornell University)|Feb 15, 2018

Machine Learning and Algorithms参考文献 47被引用 8

一句话总结

该论文提出了一种统一框架，用于主动特征获取与监督矩阵补全，以在保持高分类性能的同时最小化获取成本。通过联合优化重构误差、分类损失和基于不确定性的查询选择——采用成本感知的双目标优化——该方法在比基线方法更少的特征查询下，实现了更优的矩阵恢复和分类准确率。

ABSTRACT

Feature missing is a serious problem in many applications, which may lead to low quality of training data and further significantly degrade the learning performance. While feature acquisition usually involves special devices or complex process, it is expensive to acquire all feature values for the whole dataset. On the other hand, features may be correlated with each other, and some values may be recovered from the others. It is thus important to decide which features are most informative for recovering the other features as well as improving the learning performance. In this paper, we try to train an effective classification model with least acquisition cost by jointly performing active feature querying and supervised matrix completion. When completing the feature matrix, a novel target function is proposed to simultaneously minimize the reconstruction error on observed entries and the supervised loss on training data. When querying the feature value, the most uncertain entry is actively selected based on the variance of previous iterations. In addition, a bi-objective optimization method is presented for cost-aware active selection when features bear different acquisition costs. The effectiveness of the proposed approach is well validated by both theoretical analysis and experimental study.

研究动机与目标

• 解决在缺失特征的数据集中特征获取成本过高的挑战。
• 通过联合执行主动特征查询和矩阵补全，提升分类性能。
• 通过选择最具信息量的特征进行查询，最小化获取成本。
• 通过双目标优化，整合不同特征之间的获取成本差异。
• 利用标签信息和特征相关性，实现更精确的矩阵恢复。

提出的方法

• 提出一种新颖的目标函数，结合重构误差、低秩正则化和经验分类误差，以指导监督矩阵补全。
• 使用迭代过程中的方差作为标准，选择最不确定（即最具信息量）的特征条目进行主动查询。
• 应用双目标优化框架，在特征具有不同成本时平衡信息量与获取成本。
• 采用迭代精炼策略：查询最不确定的条目，更新矩阵，并基于最近的迭代重新计算不确定性。
• 提出一种方差计算策略，聚焦于最近的迭代（例如，最后 m 次迭代），以更准确地反映当前的不确定性。
• 通过理论分析推导出重构误差的上界，支持算法的收敛性和鲁棒性。

实验结果

研究问题

• RQ1 在标签引导下，监督矩阵补全是否能比标准方法更准确地恢复矩阵？
• RQ2 如何设计主动特征获取方法，以在最大化模型性能的同时最小化获取成本？
• RQ3 考虑特征特定的获取成本是否能带来更好的成本-性能权衡？
• RQ4 方差计算窗口的选择（例如，近期 vs. 全部迭代）如何影响查询选择和性能？
• RQ5 联合优化矩阵补全与主动查询是否优于顺序或独立的方法？

主要发现

• 所提出的 AFASMC 方法在低查询率下，显著优于基线方法（如 EM、QBC 和 Random），在矩阵恢复和分类准确率方面表现更优。
• 在 HTRU2 数据集上，采用双目标优化的成本感知变体（AFASMC+Cost2）优于原始的 AFASMC 以及更简单的成本归一化方法（AFASMC+Cost1）。
• 使用最后 4 次迭代的方差计算（m=4）性能最佳，证实近期不确定性比长期方差更具预测性。
• 该方法在多种数据集（包括图像、国际象棋和 HTRU2）上均保持稳定性能，且在 AUC 和准确率指标上始终表现更优。
• 理论分析提供了重构误差的上界，支持算法的可靠性与收敛性。
• 该方法在维持或提升分类性能的同时，显著减少了所需特征查询的数量，体现了成本高效的机器学习。