[論文レビュー] Dynamic Bayesian Combination of Multiple Imperfect Classifiers

Edwin Simpson, Stephen Roberts+2 more|arXiv (Cornell University)|Jun 8, 2012

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本論文は、Galaxy Zoo Supernovae のようなクラウドソーシング環境を想定し、可変ベイジアン推論を用いて分類器の信頼性とパフォーマンスを時間経過とともに推定することで、複数の不完全な分類器を統合する動的ベイジアンフレームワークを提案する。この手法は、既存の手法を上回る精度を達成し、自然な意思決定コミュニティを明らかにし、分類器の進化とグループダイナミクスをリアルタイムで追跡可能である。

ABSTRACT

Classifier combination methods need to make best use of the outputs of multiple, imperfect classifiers to enable higher accuracy classifications. In many situations, such as when human decisions need to be combined, the base decisions can vary enormously in reliability. A Bayesian approach to such uncertain combination allows us to infer the differences in performance between individuals and to incorporate any available prior knowledge about their abilities when training data is sparse. In this paper we explore Bayesian classifier combination, using the computationally efficient framework of variational Bayesian inference. We apply the approach to real data from a large citizen science project, Galaxy Zoo Supernovae, and show that our method far outperforms other established approaches to imperfect decision combination. We go on to analyse the putative community structure of the decision makers, based on their inferred decision making strategies, and show that natural groupings are formed. Finally we present a dynamic Bayesian classifier combination approach and investigate the changes in base classifier performance over time.

研究の動機と目的

• 複数の信頼性の低い人間または計算分類器の意思決定を統合するスケーラブルでベイジアンな手法の開発。
• 訓練データがスパースで、信頼度の指標がない状況でも、分類器の信頼性とパフォーマンスを推定すること。
• 動的でリアルタイムの意思決定統合を実現するため、分類器パフォーマンスの時間的変化をモデル化すること。
• 推定された意思決定戦略に基づいて、隠れた意思決定者のコミュニティを特定すること。
• 推定された誤り行列とコミュニティ構造を活用して、適応的なタスク割り当てとトレーニングを可能にすること。

提案手法

• ノイズが多く、信頼性の低い分類器出力を真のラベルに推定するため、独立ベイジアン分類器結合（IBCC）に基づく確率的モデルを用いる。
• 効率的な事後分布の近似を実現するため、可変ベイジアン推論を適用し、高速かつスケーラブルな学習を可能にする。
• 欠損値やスパース観測がある状況でも、データから学習される誤り行列（Π）を通じて分類器の信頼性をモデル化する。
• IBCCを動的ベイジアンフレームワークに拡張し、新しいデータが到着するたびに分類器パフォーマンスの推定値を逐次更新する。
• 推定された意思決定パターンに対して社会的ネットワーク分析を適用し、類似した意思決定行動を示すコミュニティを検出する。
• 情報量の増加、分類器の改善、コストのバランスを取るために、最適なタスク割り当てを導くためのグローバルな効用関数を導入する。

実験結果

リサーチクエスチョン

• RQ1 信頼度や不確実性の情報がない状況で、複数の不完全な分類器の意思決定を最適に統合する方法は何か？
• RQ2 ユーザーごとの真のラベルが不明で、データも限られている状況でも、個々の分類器の信頼性とパフォーマンスを推定できるか？
• RQ3 動的で現実世界の設定において、分類器のパフォーマンスと意思決定戦略は時間経過とともにどのように変化するか？
• RQ4 推定された行動に基づいて、どのような自然な意思決定者コミュニティが出現し、それらは時間経過でどのように変化するか？
• RQ5 推定された分類器特性とコミュニティ構造を活用することで、より良い集団的パフォーマンスを実現するためのタスク割り当てとトレーニングを改善できるか？

主な発見

• 提案された動的ベイジアン分類器結合手法は、加重多数決やサンプリングベースのベイジアンモデルといった既存手法を著しく上回る分類精度を達成する。
• 可変ベイジアン推論はギブスサンプリングに比べて計算が高速で、より高い予測精度を示し、リアルタイム応用に適している。
• 推定された意思決定パターンに対する社会的ネットワーク分析により、類似した戦略を示す自然で意味のある意思決定者コミュニティが明らかになる。
• 動的拡張により、個々の分類器パフォーマンスの変化を効果的に追跡でき、パフォーマンスのトレンドや学習軌跡が明らかになる。
• 意思決定者のコミュニティは時間経過とともに変化し、メンバー構成や構造の変化が集団行動の変化を示している。
• 本フレームワークにより、誤り行列とコミュニティ構造を活用したデータ駆動型のタスク割り当て戦略が可能となり、情報量の増加と分類器の改善を最大化できる。