[論文レビュー] Address Instance-level Label Prediction in Multiple Instance Learning

Minlong Peng, Qi Zhang|arXiv (Cornell University)|May 29, 2019

Handwritten Text Recognition Techniques参考文献 15被引用数 6

ひとこと要約

本稿では、インスタンスラベルを必要とせずにインスタンスレベルの損失関数を定義することにより、直接的にインスタンスレベルのラベル予測を最適化する新しいMultiple Instance Learning（MIL）アルゴリズムBIMILを提案する。独立同分布（i.i.d.）の仮定のもとで、バッグレベルのラベルのみを用いてインスタンスレベルのリスクをバイアスのない推定が可能であり、インスタンスレベルの予測性能は完全教師ありモデルと同等の性能を達成する一方で、バッグレベルの性能も高い水準を維持する。

ABSTRACT

extit{Multiple Instance Learning} (MIL) is concerned with learning from bags of instances, where only bag labels are given and instance labels are unknown. Existent approaches in this field were mainly designed for the bag-level label prediction (predict labels for bags) but not the instance-level (predict labels for instances), with the task loss being only defined at the bag level. This restricts their application in many tasks, where the instance-level labels are more interested. In this paper, we propose a novel algorithm, whose loss is specifically defined at the instance level, to address instance-level label prediction in MIL. We prove that the loss of this algorithm can be unbiasedly and consistently estimated without using instance labels, under the i.i.d assumption. Empirical study validates the above statements and shows that the proposed algorithm can achieve superior instance-level and comparative bag-level performance, compared to state-of-the-art MIL methods. In addition, it shows that the proposed method can achieve similar results as the fully supervised model (trained with instance labels) for label prediction at the instance level.

研究の動機と目的

• 従来のMIL手法がバッグレベルの予測に特化しており、インスタンスレベルのラベル予測で性能を発揮できないという限界を解消すること。
• インスタンスレベルのラベルにアクセスできない状況下でも、効果的なインスタンスレベルのラベル予測を可能にする手法の開発。
• i.i.d.仮定の下で、バッグレベルのラベルのみを用いてインスタンスレベルの損失推定が理論的に正当化される理由を提示すること。
• 提案手法が完全教師ありモデルに近い性能をインスタンスレベルの予測で達成していることを実験的に検証すること。

提案手法

• インスタンスレベルに特化した新しい損失関数を導入し、インスタンスレベルのラベル予測を直接最適化可能にする。
• Theorem 1で形式化されたように、i.i.d.仮定に基づき、負例インスタンスの割合を用いてインスタンスレベルリスクのバイアスのない推定を実現する。
• Theorem 2で示されるように、境界付きベイズ一貫性損失関数を採用することで、リスク推定における理論的一貫性を保証する。
• ニューラルネットワークアーキテクチャを用い、可学習なアテンションメカニズムによりインスタンス表現をプーリングし、損失をインスタンスレベルで計算する。
• インスタンスレベルの監視は推定リスクを通じて暗黙的にモデル化され、訓練はバッグレベルのラベルのみを用いてエンドツーエンドで実行される。
• 理論的分析により、境界付きベイズ一貫性損失関数のもとで、推定されたインスタンスレベルリスクが真のリスクに収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 バッグレベルのラベルしか入手できない状況下で、インスタンスレベルのラベル予測を効果的に最適化することは可能か？
• RQ2 インスタンスラベルにアクセスできない状況でも、インスタンスレベルリスクをバイアスのない推定が可能か？
• RQ3 境界付きベイズ一貫性損失関数を用いることで、MILにおける推定リスクが真のリスクに一貫して収束するか？
• RQ4 提案手法は、完全教師ありモデルと比較してインスタンスレベルの予測性能で同等の性能を達成できるか？
• RQ5 推定された負例インスタンス割合の不正確さに対して、この手法はどれほどロバストか？

主な発見

• BIMILはMNISTで2.7、SVHNで13.6、CIFAR10で31.0、20Newsgroupで13.0のインスタンスレベルベイズリスクを達成し、完全教師ありモデル（Sup）がそれぞれ2.8、14.7、28.7、10.8を達成したのと非常に近い性能を示した。
• 4つのすべてのデータセットにおいて、BIMILのインスタンスレベルベイズリスクは完全教師ありモデルと一貫して近い値を示しており、インスタンスレベル予測における優れた性能を裏付けている。
• 平均二乗誤差（MSE）損失を用いた場合、交差エントロピー損失に比べて過学習が軽減され、テストデータに対する一般化性能が向上した。
• 推定された負例インスタンス割合P(Y_X=0)の変動に対しても、手法はロバストであり、割合が過剰に推定されると性能が向上する傾向を示した。
• BIMILは、最先端のMIL手法と同等またはそれ以上のバッグレベル性能を達成し、MNISTで2.7、SVHNで13.6、CIFAR10で31.0、20Newsgroupで13.0のテストベイズリスクを示した。全データセットでベースラインを上回るか同等の性能を発揮した。
• アブレーションスタディにより、MIL制約を組み込むことで、それらを欠如させるIMILと比較してバッグレベル性能が向上しており、提案された定式化の有効性が確認された。