[论文解读] Dynamic Bayesian Combination of Multiple Imperfect Classifiers

Edwin Simpson, Stephen Roberts+2 more|arXiv (Cornell University)|Jun 8, 2012

Anomaly Detection Techniques and Applications被引用 7

一句话总结

本文提出了一种动态贝叶斯框架，用于在众包场景（如 Galaxy Zoo Supernovae）中结合多个不完美的分类器，利用变分贝叶斯推断来估计分类器的可靠性及其随时间的变化。该方法在准确性上优于现有方法，揭示了自然的决策行为群体，并实现了对分类器演化和群体动态的实时追踪。

ABSTRACT

Classifier combination methods need to make best use of the outputs of multiple, imperfect classifiers to enable higher accuracy classifications. In many situations, such as when human decisions need to be combined, the base decisions can vary enormously in reliability. A Bayesian approach to such uncertain combination allows us to infer the differences in performance between individuals and to incorporate any available prior knowledge about their abilities when training data is sparse. In this paper we explore Bayesian classifier combination, using the computationally efficient framework of variational Bayesian inference. We apply the approach to real data from a large citizen science project, Galaxy Zoo Supernovae, and show that our method far outperforms other established approaches to imperfect decision combination. We go on to analyse the putative community structure of the decision makers, based on their inferred decision making strategies, and show that natural groupings are formed. Finally we present a dynamic Bayesian classifier combination approach and investigate the changes in base classifier performance over time.

研究动机与目标

• 开发一种可扩展的贝叶斯方法，用于结合多个不可靠的人工或计算分类器的决策。
• 即使在训练数据稀疏且无置信度指标的情况下，也能估计分类器的可靠性和性能。
• 对动态、实时决策融合中的分类器性能随时间的变化进行建模。
• 基于推断的决策策略，揭示决策者的隐藏群体。
• 通过利用推断的混淆矩阵和群体结构，实现自适应的任务分配与训练。

提出的方法

• 基于独立贝叶斯分类器组合（IBCC）的概率模型，从噪声大且无置信度的分类器输出中推断真实标签。
• 应用变分贝叶斯推断，高效地近似后验分布，从而实现快速且可扩展的学习。
• 通过从数据中学习的混淆矩阵（Π）来建模分类器的可靠性，即使在存在缺失或稀疏观测的情况下亦可实现。
• 将IBCC扩展为动态贝叶斯框架，随着新数据的到达，顺序更新分类器性能的估计值。
• 对推断的决策模式应用社会网络分析，以检测具有相似决策行为的群体。
• 引入全局效用函数，通过平衡信息增益、分类器改进和成本，指导最优任务分配。

实验结果

研究问题

• RQ1 当缺乏置信度或不确定性信息时，如何最优地结合多个不完美分类器的决策？
• RQ2 即使数据有限且无用户级别的真实标签，是否也能推断出单个分类器的可靠性和性能？
• RQ3 在动态、现实的场景中，分类器性能和决策策略如何随时间演变？
• RQ4 从推断的行为中会自然涌现出哪些决策者群体？这些群体如何随时间变化？
• RQ5 是否可以利用推断的分类器属性和群体结构来改进任务分配与训练，以提升整体集体表现？

主要发现

• 所提出的动态贝叶斯分类器组合方法在分类准确性上显著优于加权多数法和基于采样的贝叶斯模型等现有方法。
• 变分贝叶斯推断在计算速度和预测准确性上均优于吉布斯采样，适用于实时应用。
• 对推断决策模式的社会网络分析揭示了具有相似策略的自然且有意义的决策者群体。
• 动态扩展成功追踪了个体分类器性能随时间的变化，揭示了性能趋势和学习轨迹。
• 决策者群体随时间演变，成员构成和结构的变化反映出集体行为的改变。
• 该框架支持数据驱动的任务分配策略，通过利用混淆矩阵和群体结构，最大化信息增益和分类器改进。