[論文レビュー] A Deep Neuro-Fuzzy Network for Image Classification

Omolbanin Yazdanbakhsh, Scott Dick|arXiv (Cornell University)|Dec 22, 2019

Neural Networks and Applications参考文献 38被引用数 8

ひとこと要約

本稿では、Takagi-Sugeno-Kang (TSK) なファジィモデルに基づいて、ファジィ推論とファジィプーリングの2つの新規演算を導入し、画像分類のための最初のエンド・ツー・エンドのディープニューロファジィネットワークを提案する。このネットワークは、階層的特徴を学習するためにこれらの演算をスタックし、MNIST、CIFAR-10、CIFAR-100ベンチマークで競争力ある精度を達成し、視覚タスクにおけるディープニューロファジィアーキテクチャの実現可能性を示している。

ABSTRACT

The combination of neural network and fuzzy systems into neuro-fuzzy systems integrates fuzzy reasoning rules into the connectionist networks. However, the existing neuro-fuzzy systems are developed under shallow structures having lower generalization capacity. We propose the first end-to-end deep neuro-fuzzy network and investigate its application for image classification. Two new operations are developed based on definitions of Takagi-Sugeno-Kang (TSK) fuzzy model namely fuzzy inference operation and fuzzy pooling operations; stacks of these operations comprise the layers in this network. We evaluate the network on MNIST, CIFAR-10 and CIFAR-100 datasets, finding that the network has a reasonable accuracy in these benchmarks.

研究の動機と目的

• 画像分類のためのエンド・ツー・エンド学習を可能にするディープニューロファジィアーキテクチャの開発。これにより、浅いニューロファジィシステムの限界を克服する。
• コンピュータビジョン分野における深く階層的なニューロファジィ構造の不足を補うために、TSKファジィモデルに基づく新規な演算を導入すること。
• 提案されたネットワークの性能を標準的な画像分類ベンチマークで評価し、一般化能力を示すこと。
• ファジィ推論をディープラーニングと統合した統一フレームワークを構築し、解釈可能性を保ちつつ、競争力ある精度を達成すること。

提案手法

• 画像の部分領域に対して、単一入力多出力（SIMO）のTSKルールベースシステムをモデル化するファジィ推論演算を提案。各ルールは特定のパターンを捉える。
• 画像部分領域と学習済みのファジィパターンテンプレート間のドット積類似度を用いて、所属度を計算。正規化により[0,1]に制約。
• 各ルールの発火強度を確率的整合性を保つために正規化。式：$\overline{P_k} = P_k / \sum_{j=1}^K P_j$。
• 正規化された発火強度を用いた重み付き和でルール出力を結合：$y_i = \sum_{k=1}^K \overline{P_k} f_{ik}(x)$。ここで$f_{ik}(x)$は非線形関数。
• 特徴マップのダウンサンプリングを可能にしつつ、ファジィ論理の意味を保持するファジィプーリング演算を導入。これにより、階層的特徴抽象化が可能になる。
• ファジィ集合のパラメータおよび出力関数の係数を最適化するため、勾配降下法を用いてネットワークをエンド・ツー・エンドで学習。

実験結果

リサーチクエスチョン

• RQ1 画像分類のためのエンド・ツー・エンドのシステムとして、ディープニューロファジィネットワークを構築できるか。浅いかつハイブリッドモデルではなく、深さのある構造として。
• RQ2 TSKモデルに基づくファジィ推論およびファジィプーリング演算は、畳み込み層に類似したレイヤーにおいて、どのように階層的特徴学習を可能にするか。
• RQ3 提案されたディープニューロファジィネットワークの性能は、MNIST、CIFAR-10、CIFAR-100といった標準的な画像ベンチマークでどの程度か。
• RQ4 ディープラーニングにファジィ論理を統合することで、解釈可能性を保ちつつ、画像分類タスクで競争力ある精度を維持できるか。

主な発見

• 提案されたディープニューロファジィネットワークは、MNIST、CIFAR-10、CIFAR-100データセットで妥当かつ競争力ある分類精度を達成し、その実現可能性が検証された。
• ネットワークは、ファジィ推論およびファジィプーリング演算をスタックすることで、深さのあるアーキテクチャを構築でき、階層的特徴学習が可能であることを示した。
• モデルは、ルールベース構造を用いて解釈可能性を保ちながら、ファジィ推論をディープラーニングフレームワークに効果的に統合した。
• 勾配降下法によるエンド・ツー・エンド学習により、ファジィ集合のパラメータおよび出力関数の係数の有効な学習が可能となった。
• モデルがファジィ論理の原則に依存しているにもかかわらず、同様のベンチマークで標準的なディープニューラルネットワークと同等の性能を示した。
• 本研究は、視覚応用分野における解釈可能なディープラーニングのための神経ファジィシステムの今後の研究基盤を確立した。