[論文レビュー] Learning about individuals from group statistics

Hendrik Kück, Nando de Freitas|arXiv (Cornell University)|Jul 4, 2012

Image Retrieval and Classification Techniques参考文献 11被引用数 35

ひとこと要約

本稿では、グループ単位の統計から個々のインスタンスラベルを推定するための新しい確率的フレームワークを提示する。ここでは、各グループにおける正例ラベルの割合しか観測されない。原理的ベイズモデルと効率的なMCMC推論を用いることで、グループ内割合の不確実性や未知のラベルがある中でも、個々のラベルを正確に推定できることを示している。合成データおよび実世界のオブジェクト認識データにおいて優れた性能を発揮している。

ABSTRACT

We propose a new problem formulation which is similar to, but more informative than, the binary multiple-instance learning problem. In this setting, we are given groups of instances (described by feature vectors) along with estimates of the fraction of positively-labeled instances per group. The task is to learn an instance level classifier from this information. That is, we are trying to estimate the unknown binary labels of individuals from knowledge of group statistics. We propose a principled probabilistic model to solve this problem that accounts for uncertainty in the parameters and in the unknown individual labels. This model is trained with an efficient MCMC algorithm. Its performance is demonstrated on both synthetic and real-world data arising in general object recognition.

研究の動機と目的

• 個々のインスタンスラベルを学習する課題に取り組むこと、ただし、正例ラベルのグループ単位の割合しか入手できない状況である。
• グループ統計と未知の個々のラベルの両方における不確実性を適切に扱う、原則的確率的モデルを開発すること。
• 直接的なラベリングが不可能または高コストな状況において、正確なインスタンスレベル分類を可能にすること。
• 本手法の有効性を、合成データおよび実世界のオブジェクト認識タスクの両方で示すこと。

提案手法

• 個々のラベルではなく、グループ単位のラベル割合を用いる弱教師あり学習タスクとして問題を定式化する。
• 不確実性を伴う状況下で、個々のラベルとモデルパラメータを同時に推論するベイズ生成モデルを提案する。
• 潜在的な個々のラベルとモデルパラメータの事後分布を推論するために、マルコフ連鎖モンテカルロ（MCMC）アルゴリズムを採用する。
• 観測されたグループ統計と観測されない個々のラベルの両方に不確実性を組み込むために、完全なベイズ的取り扱いを実施する。
• インスタンスの特徴ベクトルを入力とし、潜在ラベル構造を介して訓練された判別型分類器を用いる。
• ラベルとパラメータの同時事後分布を探索するために、MCMCサンプリングを用いてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 各グループにおける正例ラベルの割合しか分からない状況でも、個々のインスタンスラベルを正確に推定できるか？
• RQ2 グループ統計の不確実性と未知の個々のラベルを、学習フレームワーク内で適切にモデル化する方法は何か？
• RQ3 グループ統計に基づいて学習した確率的モデルは、個々のラベル予測タスクにうまく一般化できるか？
• RQ4 従来の複数インスタンス学習アプローチと比較して、本手法はラベル回復精度において優れているか？

主な発見

• 合成データにおいて、本手法はベースラインの複数インスタンス学習手法と比較して、はるかに高い正確性を達成した。
• グループ統計の不確実性を効果的に扱い、ノイズが多いかスパースなグループ内割合がある状況でも、頑健な性能を維持した。
• 実世界のオブジェクト認識データにおいて、本手法はグループ単位のラベル割合からインスタンスレベル分類器を効果的に学習でき、実用的価値を示した。
• MCMC推論手順は信頼性があり、個々のラベル予測に対する適切にキャリブレーションされた不確実性推定を提供した。