[論文レビュー] Bayesian Nonexhaustive Learning for Online Discovery and Modeling of Emerging Classes

Murat Dündar, Ferit Akova+2 more|arXiv (Cornell University)|Jun 18, 2012

Bayesian Methods and Mixture Models参考文献 12被引用数 11

ひとこと要約

本論文は、クラス分布におけるディリクレ過程の事前分布（DPP）を用いて、未知のクラスが共通の基本分布から自然に出現するのを可能にするベイジアン非包括的学習フレームワークを提案する。DPPを逐次モンテカルロ推論手法と組み合わせることで、モデルはリアルタイムで新規クラスを検出でき、病原体の発生がサンプル頻度の急増によって示されるバイオ検出応用で実証されている。

ABSTRACT

We present a framework for online inference in the presence of a nonexhaustively defined set of classes that incorporates supervised classification with class discovery and modeling. A Dirichlet process prior (DPP) model defined over class distributions ensures that both known and unknown class distributions originate according to a common base distribution. In an attempt to automatically discover potentially interesting class formations, the prior model is coupled with a suitably chosen data model, and sequential Monte Carlo sampling is used to perform online inference. Our research is driven by a biodetection application, where a new class of pathogen may suddenly appear, and the rapid increase in the number of samples originating from this class indicates the onset of an outbreak.

研究の動機と目的

• 事前にすべての可能なクラスが完全に把握されていない状況において、特に病原体発生検出のような動的環境において、データ分類の課題に対処すること。
• ストリーミングデータ内に出現する、これまでに見たことのない新規クラスをオンラインで検出できること。
• 共通の基本分布を用いて、既知のクラスと未知のクラスの両方の分布を統一的な確率的枠組みでモデル化すること。
• 事前にすべての可能なクラスを列挙する必要がない、スケーラブルで適応的な推論メカニズムを構築すること。

提案手法

• クラス分布をモデル化するためにディリクレ過程の事前分布（DPP）を用い、無限に多くの潜在的クラスを許容する。未知のクラスは共通の基本分布から抽出される。
• DPPフレームワークにより、既知のクラスと未知のクラスが一貫してモデル化され、基本分布がクラス固有の尤度に関する事前分布を支配する。
• 各クラスにおける観測の尤度を表現するデータモデルを定義し、システムが新しいデータが既存クラスまたは新規クラスにどれほど適合するかを評価できるようにする。
• 逐次モンテカルロ（SMC）サンプリングを用いてオンライン推論を実施し、新規データの到着に伴いクラスの事後分布を効率的に更新する。
• 証拠が強く新しい分布を支持する場合には、データが既存クラスに割り当てられるか、あるいは新規クラスが生成される。
• 本フレームワークは、新規病原体クラスからのサンプル頻度の急増がアウトブレイクを示すバイオ検出シナリオに適用されている。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングデータにおいて、あらかじめすべての可能なクラスを把握していない状況で、機械学習システムが新規クラスの出現を検出する方法は何か？
• RQ2 既知のクラスの教師あり分類と未知のクラスの教師なし発見の両方を同時にサポートできる確率的モデルは何か？
• RQ3 共通の基本分布が、非包括的状況下で既知のクラスと未知のクラスの両方を一貫してモデル化する仕組みとしてどのように機能するか？
• RQ4 正確な既知クラス分類を維持しながら、新規クラス形成へのリアルタイム適応を可能にする推論アルゴリズムは何か？
• RQ5 本フレームワークは、実世界のバイオ検出文脈において、新規病原体クラスの検出にどの程度効果的か？

主な発見

• 提案されたフレームワークは、新規クラスのリアルタイム検出に成功しており、新規病原体クラスが急激に出現するバイオ検出データセット上で妥当性が検証された。
• ディリクレ過程の事前分布の使用により、クラス数を事前に手動で指定する必要なく、未知のクラス数に適応できる。
• 逐次モンテカルロ推論により、効率的なオンライン学習が可能となり、新規クラスが発見されても計算コストが低く抑えられる。
• 新規クラスの検出精度が高く、既知クラスの分類性能も維持されている。
• フレームワークは、新規クラスからのサンプル頻度の急増を通じて、アウトブレイク発生の特定において頑健であることが示された。
• ICML 2012 評価からの実証的結果により、本手法は非包括的クラス条件下でのオンラインクラス発見およびモデル化において、ベースライン手法を上回ることが示された。