[論文レビュー] A bag-to-class divergence approach to multiple-instance learning

Kajsa Møllersen, Jon Yngve Hardeberg+1 more|arXiv (Cornell University)|Mar 7, 2018

Image Retrieval and Classification Techniques参考文献 31被引用数 3

ひとこと要約

本稿では、データスパarsity下での多インスタンス学習のためのbag-to-class divergenceアプローチを提案する。bagを確率分布としてモデル化することで、クラス条件付きKullback-Leibler（cKL）情報のような統計的ダイバージェンスを活用でき、分類性能が向上する。クラス条件付き分布モデリングにより、bag-to-bagダイバージェンスに比べ計算コストを低減し、スパースなMIデータセットでの性能向上を実現する。

ABSTRACT

In multi-instance (MI) learning, each object (bag) consists of multiple feature vectors (instances), and is most commonly regarded as a set of points in a multidimensional space. A different viewpoint is that the instances are realisations of random vectors with corresponding probability distribution, and that a bag is the distribution, not the realisations. In MI classification, each bag in the training set has a class label, but the instances are unlabelled. By introducing the probability distribution space to bag-level classification problems, dissimilarities between probability distributions (divergences) can be applied. The bag-to-bag Kullback-Leibler information is asymptotically the best classifier, but the typical sparseness of MI training sets is an obstacle. We introduce bag-to-class divergence to MI learning, emphasising the hierarchical nature of the random vectors that makes bags from the same class different. We propose two properties for bag-to-class divergences, and an additional property for sparse training sets.

研究の動機と目的

• bagに含まれるインスタンスが少ない場合に顕著なデータスパarsityが生じる多インスタンス学習の課題に対処すること。
• Kullback-Leibler情報のようなbag-to-bagダイバージェンスの高い計算コストを克服すること。
• bagを確率分布としてモデル化することで、統計的に整合性のある枠組みを構築し、多インスタンス分類を実現すること。
• クラス条件付き情報を統合する新しい類似度測度の一種であるbag-to-classダイバージェンスを導入すること。
• データに依存しないMI手法の評価を可能にする、ダイバージェンスの性質に基づく理論的基盤を提供すること。

提案手法

• 各bagをインスタンス上の確率分布としてモデル化し、インスタンスレベルの表現から分布レベルの表現へと焦点を移す。
• bagの分布とクラス条件付き分布との類似度を測るため、クラス条件付きKullback-Leibler（cKL）情報に基づくbag-to-classダイバージェンスを提案する。
• 重要度サンプリングを用いてダイバージェンスを近似し、効率的な計算と分類器入力用のベクトル空間へのマッピングを可能にする。
• bag-to-classダイバージェンスの2つの基本的性質を導入する：クラス条件付き独立性下での一貫性、およびクラス固有の分布シフトへの感受性。
• これらの性質を、特に1bagあたりのインスタンス数が少ない状況におけるスパースな学習セットへの耐性を含むように拡張する。
• 得られたダイバージェンスを下流の分類器の特徴量として使用し、bag space（BS）とembedded space（ES）のパラダイムを統合する。

実験結果

リサーチクエスチョン

• RQ1 bagを確率分布としてモデル化することで、データスパarsity下での多インスタンス学習における分類性能が向上するか？
• RQ2 bag-to-classダイバージェンスは、bag-to-bagダイバージェンスと比較して、精度と計算効率の面で優れているか？
• RQ3 bag-to-classダイバージェンスが、耐性と統計的妥当性を保証するために満たすべき性質は何か？
• RQ4 cKLのようなクラス条件付きダイバージェンスは、1bagあたりのインスタンス数が少ないスパースな学習セットをどの程度効果的に処理できるか？
• RQ5 提案手法は、標準的なMI仮定を超えて、多様なMI学習問題に一般化できるか？

主な発見

• bag-to-classダイバージェンスアプローチは、特に1bagあたりのインスタンス数が少ない状況において、スパースな多インスタンスデータセットでの分類性能を顕著に向上させる。
• 提案されたクラス条件付きKullback-Leibler（cKL）ダイバージェンスは、スパarsity下での誤分類率の観点で、標準的なbag-to-bag KLダイバージェンスを上回る性能を示す。
• 完全なbag-to-bagダイバージェンス計算に比べて計算コストを低減しながらも、高い精度を維持する。
• 重要度サンプリングによりダイバージェンスの効率的近似が可能となり、実世界のMI問題へのスケーラビリティが実現される。
• ダイバージェンスの理論的性質により耐性が保証され、MI手法のデータに依存しない評価が可能になる。
• Musk1およびMusk2データセットにおける実験結果から、本手法はスパースな学習セット下でも最先端のMI手法と競合する性能を示している。