[论文解读] Bayesian Active Distance Metric Learning

Liu Yang, Rong Jin+1 more|arXiv (Cornell University)|Jun 20, 2012

Machine Learning and Algorithms参考文献 29被引用 52

一句话总结

该论文提出了一种贝叶斯主动距离度量学习框架，通过成对约束估计距离度量的后验分布，实现不确定性感知的主动学习。通过基于预测不确定性选择最具信息量的未标记样本对，该方法在分类准确率和样本效率方面均优于非贝叶斯方法及当前最先进方法。

ABSTRACT

Distance metric learning is an important component for many tasks, such as statistical classification and content-based image retrieval. Existing approaches for learning distance metrics from pairwise constraints typically suffer from two major problems. First, most algorithms only offer point estimation of the distance metric and can therefore be unreliable when the number of training examples is small. Second, since these algorithms generally select their training examples at random, they can be inefficient if labeling effort is limited. This paper presents a Bayesian framework for distance metric learning that estimates a posterior distribution for the distance metric from labeled pairwise constraints. We describe an efficient algorithm based on the variational method for the proposed Bayesian approach. Furthermore, we apply the proposed Bayesian framework to active distance metric learning by selecting those unlabeled example pairs with the greatest uncertainty in relative distance. Experiments in classification demonstrate that the proposed framework achieves higher classification accuracy and identifies more informative training examples than the non-Bayesian approach and state-of-the-art distance metric learning algorithms.

研究动机与目标

• 为解决小样本训练数据下距离度量学习中点估计的局限性。
• 通过主动选择最具信息量的未标记样本对进行标注，提升样本效率。
• 开发一种量化距离度量估计不确定性的贝叶斯框架。
• 将主动学习与贝叶斯度量学习相结合，以在低数据场景下提升性能。
• 在分类任务中超越非贝叶斯方法及当前最先进距离度量学习算法的性能。

提出的方法

• 该框架将距离度量建模为具有共轭先验的随机变量，从而能够从已标记的成对约束中进行后验推断。
• 采用变分推理算法近似难以计算的度量后验分布。
• 通过未标记样本对之间距离的预测方差来量化后验中的不确定性。
• 主动学习选择预测方差最高的未标记样本对，以最大化信息增益。
• 该方法在更新后验分布与选择最不确定样本对进行标注之间交替进行。
• 该方法在闭环主动学习设置下进行评估，包含迭代标注与模型优化。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，距离度量学习的贝叶斯方法是否能提升可靠性？
• RQ2 基于不确定性的主动学习选择是否能提升距离度量学习中的样本效率？
• RQ3 所提出的贝叶斯主动学习框架在分类准确率方面与非贝叶斯方法及当前最先进方法相比如何？
• RQ4 后验方差是否能有效指导最具信息量的未标记样本对的选择？
• RQ5 该框架在不牺牲性能的前提下，能在多大程度上减少所需标注样本的数量？

主要发现

• 贝叶斯主动学习方法在分类准确率上优于非贝叶斯方法及当前最先进距离度量学习算法。
• 通过选择相对距离不确定性最高的样本，该方法识别出更具信息量的训练样本。
• 利用后验方差进行主动选择可实现更快收敛，并在更少标注样本下获得更优性能。
• 变分推理算法为完整贝叶斯后验提供了高效且可扩展的近似。
• 在分类任务上的实证结果证实，基于不确定性的主动学习可提升样本效率。
• 由于采用了合理的不确定性量化，该框架在低数据场景下表现出鲁棒性和可靠性。