[論文レビュー] Multi-Instance Learning with Any Hypothesis Class

Sivan Sabato, Naftali Tishby|arXiv (Cornell University)|Jul 11, 2011

Image Retrieval and Classification Techniques参考文献 41被引用数 22

ひとこと要約

本稿では、任意の仮説クラスに適用可能な、Multiple-Instance Learning (MIL) の統一的理論枠組みを提示する。サンプル複雑度が袋のサイズに多対数的（poly-logarithmically）に依存することを示している。また、片側誤差を持つ任意の効率的でない非-MIL学習アルゴリズムを活用し、袋のサイズに関して多項式時間計算複雑度を保証するとともに一般化保証を維持する、MIL用のPAC学習アルゴリズムを導入する。

ABSTRACT

In the supervised learning setting termed Multiple-Instance Learning (MIL), the examples are bags of instances, and the bag label is a function of the labels of its instances. Typically, this function is the Boolean OR. The learner observes a sample of bags and the bag labels, but not the instance labels that determine the bag labels. The learner is then required to emit a classification rule for bags based on the sample. MIL has numerous applications, and many heuristic algorithms have been used successfully on this problem, each adapted to specific settings or applications. In this work we provide a unified theoretical analysis for MIL, which holds for any underlying hypothesis class, regardless of a specific application or problem domain. We show that the sample complexity of MIL is only poly-logarithmically dependent on the size of the bag, for any underlying hypothesis class. In addition, we introduce a new PAC-learning algorithm for MIL, which uses a regular supervised learning algorithm as an oracle. We prove that efficient PAC-learning for MIL can be generated from any efficient non-MIL supervised learning algorithm that handles one-sided error. The computational complexity of the resulting algorithm is only polynomially dependent on the bag size.

研究の動機と目的

• 特定の応用分野に依存しない、任意の仮説クラスに適用可能なMILの一般的な理論的分析を提供すること。
• MILにおけるサンプル複雑度のタイトな境界を確立し、袋のサイズに多対数的依存性があることを示すこと。
• 任意の効率的な非-MIL学習者をオラクルとして用いる、汎用的なMIL用PAC学習アルゴリズムを開発すること。
• 通常の教師あり学習とMILの分析を統一し、両者の強い理論的関係を明らかにすること。
• 非-MIL学習分野の進展を、保証された複雑度と一般化性能を伴ってMILに転送可能にする仕組みを提供すること。

提案手法

• 非-MIL学習問題をラベルおよび仮説の変換によりMIL問題にマッピングする汎用的なMIL学習フレームワークを提案する。
• 非-MILオラクルに基づく弱学習者を用いる新しいMIL用PAC学習アルゴリズムを導入し、誤差境界をオラクルの性能から導出する。
• AdaBoost∗を用い、非-MIL学習者から得られる弱学習者を変更して、実数値の袋分類器を生成する。
• カバー数、ファットシャンタリング次元、ラデマッハ複雑度を用いて、さまざまな仮説クラスにおけるMILの一般化誤差を束縛する。
• ブール関数のリプシッツ的または単調的拡張である袋関数を分析し、単一インスタンスの仮説複雑度から一般化境界を導出可能にする。
• オラクルが効率的である場合、得られるMILアルゴリズムの実行時間が袋サイズ、1/ϵ、1/δに関して多項式時間であることを示すことにより、計算複雑度の保証を得る。

実験結果

リサーチクエスチョン

• RQ1 特定の分野の仮説に依存しない、任意の仮説クラスに適用可能なMILの統一的理論的分析を構築できるか？
• RQ2 一般化MILにおけるサンプル複雑度の袋サイズ依存性は何か？また、古典的教師あり学習と比較するとどうなるか？
• RQ3 片側誤差を持つ任意の効率的な非-MIL学習アルゴリズムを用いて、効率的なMIL用PAC学習アルゴリズムを構築できるか？
• RQ4 MILにおける一般化複雑度測度（例：VC次元、ラデマッハ複雑度）は、単一インスタンス学習におけるそれらとどのように関係するか？
• RQ5 分離超平面とORベースの袋ラベル付けを用いた実用的MIL設定において、理論的境界はタイトか？

主な発見

• 二値MILのVC次元は、dが基礎となる仮説クラスのVC次元、rが袋サイズであるとき、O(d log r) である。これは、rに多対数的依存性があることを示している。
• d次元空間における分離超平面に対して、MILのVC次元はΩ(d log r) である。これは、この重要なケースにおいて、定数倍の差異を除き境界がタイトであることを示している。
• 単調ブール関数を用いた二値MILの擬似次元はO(d log r) であり、広範なラベル関数クラスにその境界を拡張できる。
• リプシッツ的袋関数を用いたMIL仮説のカバー数は、単一インスタンス仮説クラスのカバー数によって上から抑えられ、一般化の転送が可能になる。
• リプシッツ的袋関数を用いた実数値MILのファットシャンタリング次元は、rに関して多対数的であり、インスタンス仮説クラスのファットシャンタリング次元に関して準線形的である。
• 平均袋サイズが有界な二値MILにおけるラデマッハ複雑度は、O(√(d log r / m)) であり、mがサンプルサイズである。これは袋サイズにやや強い感度を示している。