[論文レビュー] Multiple Instance Fuzzy Inference Neural Networks

Amine B. Khalifa, Hichem Frigui|arXiv (Cornell University)|Oct 17, 2016

Smart Agriculture and AI参考文献 36被引用数 4

ひとこと要約

本稿では、ラベルの曖昧なインスタンスの集合（バッグ）を処理できるように、適応的ニューロファジィ推論システム（ANFIS）を拡張した新規ハイブリッドモデル、複数インスタンスファジィ推論ニューラルネットワーク（MI-ANFIS）を提案する。MI-ANFISは、バッグレベルの推論にMI-Sugenoファジィ推論を導入し、バックプロパゲーションを用いて前提部（ファジィメンバーシップ）および結果部（出力）のパラメータを学習することで、MILベンチマークデータセットおよび地上掘削レーダーを用いた地雷検出において優れた性能を達成する。

ABSTRACT

Fuzzy logic is a powerful tool to model knowledge uncertainty, measurements imprecision, and vagueness. However, there is another type of vagueness that arises when data have multiple forms of expression that fuzzy logic does not address quite well. This is the case for multiple instance learning problems (MIL). In MIL, an object is represented by a collection of instances, called a bag. A bag is labeled negative if all of its instances are negative, and positive if at least one of its instances is positive. Positive bags encode ambiguity since the instances themselves are not labeled. In this paper, we introduce fuzzy inference systems and neural networks designed to handle bags of instances as input and capable of learning from ambiguously labeled data. First, we introduce the Multiple Instance Sugeno style fuzzy inference (MI-Sugeno) that extends the standard Sugeno style inference to handle reasoning with multiple instances. Second, we use MI-Sugeno to define and develop Multiple Instance Adaptive Neuro Fuzzy Inference System (MI-ANFIS). We expand the architecture of the standard ANFIS to allow reasoning with bags and derive a learning algorithm using backpropagation to identify the premise and consequent parameters of the network. The proposed inference system is tested and validated using synthetic and benchmark datasets suitable for MIL problems. We also apply the proposed MI-ANFIS to fuse the output of multiple discrimination algorithms for the purpose of landmine detection using Ground Penetrating Radar.

研究の動機と目的

• 複数インスタンス学習（MIL）における個々のインスタンスがラベル付けされていないにもかかわらず、曖昧なバッグレベルのラベルをもとに学習する課題に対処すること。
• 従来のファジィ推論システムを、個々のデータポイントではなくインスタンスの集合（バッグ）を対象とする推論に拡張すること。
• 教師ありバックプロパゲーションを用いてMILデータから学習可能なニューロファジィアーキテクチャの開発。
• 合成および実世界のMILデータセット（地上掘削レーダーを用いた地雷検出を含む）に対してモデルを検証すること。
• 複数の識別アルゴリズムの出力を統一的なファジィ推論フレームワークを用いて融合し、検出性能を向上させること。

提案手法

• 標準的なSugenoファジィ推論をバッグのインスタンスに対して一般化する、複数インスタンスSugenoスタイルファジィ推論（MI-Sugeno）を提案する。
• 標準ANFISをバッグを入力として受け入れられ、曖昧なバッグレベルのラベルから学習可能な、新たなネットワークアーキテクチャ、複数インスタンスANFIS（MI-ANFIS）を設計する。
• ネットワーク内の前提部（ファジィメンバーシップ）および結果部（出力）の両方のパラメータを同時に最適化するバックプロパゲーションに基づく学習アルゴリズムを実装する。
• インスタンスレベルのファジィルール活性化に基づいてバッグレベル出力を計算する、ソフトマックスに類似した集約関数を用いる。
• 入力特徴にガウス型メンバーシップ関数を適用し、ファジィ集合の平均（c_kj）および標準偏差（σ_kj）を含む、すべてのネットワークパラメータの勾配更新を導出する。
• 地上掘削レーダーに基づく複数の検出器からのインスタンスレベル出力を統合するため、複数分類器統合フレームワークにモデルを統合する。

実験結果

リサーチクエスチョン

• RQ1 MILにおける個々のインスタンスではなく、インスタンスの集合（バッグ）を対象とする推論が可能なファジィ推論システムは、実際に有効に拡張可能か？
• RQ2 インスタンスレベルのラベルが不明であるにもかかわらず、バッグレベルのラベルのみが利用可能な状況で、ニューロファジィシステムのパラメータをどのように学習できるか？
• RQ3 提案されたMI-ANFISモデルは、標準ベンチマークデータセットにおいて、既存のMIL手法を上回る性能を示すか？
• RQ4 MI-ANFISは、実世界の応用（例：地雷検出）において、複数の識別アルゴリズムの出力を有効に統合できるか？
• RQ5 MI-ANFISは、MIL問題における多形性や部分-全体関係に起因する曖昧性に対して、どの程度頑健か？

主な発見

• 提案されたMI-ANFISモデルは、複数の合成的およびベンチマークMILデータセットで競争力ある性能を示し、曖昧なバッグレベルラベルからの一般化能力を証明した。
• モデルは、パッチレベル特徴と画像レベルのアノテーションを併せ持つような、部分-全体の曖昧性を有するデータからも効果的に学習でき、陽性バッグ内に関連するインスタンスを同定した。
• 地上掘削レーダーを用いた地雷検出において、MI-ANFISは複数の識別アルゴリズムの出力をファジィ推論により統合することで、検出精度を顕著に向上させた。
• バックプロパゲーションに基づく学習アルゴリズムは、前提部および結果部の両方のパラメータを効果的に最適化し、ニューロファジィシステムのエンドツーエンド学習を可能にした。
• 重み付きソフトマックス集約関数の使用により、各バッグ内でのより信頼性の高いインスタンスレベル予測を強調することで、モデルの頑健性が向上した。
• c_kjおよびσ_kjのための導出された勾配更新は数学的に整合性があり、トレーニング中の安定した最適化を可能にした。