[論文レビュー] Model-Based Multiple Instance Learning

Ba‐Ngu Vo, Dinh Phung+2 more|arXiv (Cornell University)|Mar 7, 2017

Machine Learning and Data Classification参考文献 39被引用数 3

ひとこと要約

本稿では、点過程理論を用いたモデルベースの学習フレームワークを、点パターンデータに提案する。従来の尤度関数に見られる単位不一致と基数無視という根本的欠陥を解決する。特徴量と基数を同時にモデル化する適切な確率密度を導出することで、分類、異常検知、クラスタリングの整合的かつ単位不変な拡張が可能となり、合成データおよび実世界のデータセットにおいて一貫性のある順序付けとクラスタリングが実証された。

ABSTRACT

While Multiple Instance (MI) data are point patterns -- sets or multi-sets of unordered points -- appropriate statistical point pattern models have not been used in MI learning. This article proposes a framework for model-based MI learning using point process theory. Likelihood functions for point pattern data derived from point process theory enable principled yet conceptually transparent extensions of learning tasks, such as classification, novelty detection and clustering, to point pattern data. Furthermore, tractable point pattern models as well as solutions for learning and decision making from point pattern data are developed.

研究の動機と目的

• 機械学習分野における点パターンデータのための原則的統計モデルの欠如を解消すること。
• 点パターンに用いられる尤度関数に見られる不整合、特に単位不適合性と基数処理の悪さを是正すること。
• 点過程理論を用いて、分類、異常検知、クラスタリングを点パターンデータに統合的に拡張するモデルベースのフレームワークを構築すること。
• 実世界の学習タスクへの実用的導入を可能にする、取り扱いやすく計算効率の良いモデルとアルゴリズムを提供すること。
• 提案フレームワークが、標準的な尤度ベースのアプローチに比べて一貫性と性能の面で優れていることを実証すること。

提案手法

• 点過程理論を用いて、単位不変性と特徴量・基数の共同モデル化を保証する適切な尤度関数を導出する。
• 確率的点過程の実現として点パターンをモデル化するため、ランダム有限集合（RFS）理論を用いることで、厳密な確率的モデリングを可能にする。
• クラスタリングおよび分類に適した、ガウス型強度関数を有するポアソン混合モデルの扱いやすいクラスを提案する。
• ポアソン混合モデルを用いた点パターンのクラスタリングに適した修正版期待最大化（EM）アルゴリズムを開発する。
• 単純な尤度や確率密度の欠陥を避けるために、異常検知に特化した新しい順序付け関数を導入する。
• 標準的な指標（F1スコア、NMI、純度など）を用いて、実データ（テクスチャデータセット）および合成データへの適用により性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 特徴値と基数の両方を考慮する点パターンデータのための原則的尤度関数は、どのように定義できるか？
• RQ2 なぜ標準的な尤度関数（密度関数の積）は、点パターンの異常検知およびクラスタリングタスクで失敗するのか？
• RQ3 点過程理論は、点パターンデータにおけるモデルベース学習のための統一的かつ単位不変なフレームワークを提供できるか？
• RQ4 提案された順序付け関数は、単純な尤度および密度ベースのアプローチに比べて、異常検知でどのように優れているか？
• RQ5 取り扱いやすい点過程モデルは、実世界のデータセットにおける点パターンの有効なクラスタリングを可能にするか？

主な発見

• 点過程理論に基づく提案された尤度関数は、標準尤度関数に見られる単位不一致および基数関連の問題を効果的に解決した。
• 異常検知において、提案された順序付け関数は、常に正常データを異常データよりも高い順位にランク付けするが、標準尤度関数および密度関数は、一部の異常データが正常データよりも高い順位にランク付けされるなど、失敗を示した。
• テクスチャデータセットでは、提案手法が異常検知でF1スコア0.8以上を達成した一方、NB尤度および確率密度は大多数の異常を検出できなかった。
• ガウス型強度関数を用いたポアソン混合モデルに基づくEMクラスタリングアルゴリズムは、3つのシミュレーション状況すべてで3つのクラスタを正しく回復し、特徴量と基数の重複に対しても頑健であることを示した。
• ボックスプロット分析により、正常データと異常データの順序付けが一貫しているのは提案手法の順序付け関数のみであり、他の手法は直感に反する結果を示した。
• 本フレームワークにより、分類、異常検知、クラスタリングの各タスクにおいて、単一の統一的確率的基盤に基づく正確で原則的学習が可能になった。