[논문 리뷰] A Deep Neuro-Fuzzy Network for Image Classification

Omolbanin Yazdanbakhsh, Scott Dick|arXiv (Cornell University)|2019. 12. 22.

Neural Networks and Applications참고 문헌 38인용 수 8

한 줄 요약

이 논문은 이미지 분류를 위한 최초의 엔드 투 엔드 딥 뉴로 퍼지 네트워크를 제안하며, 타카기-수게노-칸(Takagi-Sugeno-Kang, TSK) 퍼지 모델 기반으로 두 가지 새로운 연산—퍼지 인퍼런스와 퍼지 풀링—을 도입한다. 이 네트워크는 이러한 연산을 반복하여 계층적 특징을 학습하며, MNIST, CIFAR-10, CIFAR-100 벤치마크에서 경쟁력 있는 정확도를 달성하여 시각 작업에서 딥 뉴로 퍼지 아키텍처의 실현 가능성을 입증한다.

ABSTRACT

The combination of neural network and fuzzy systems into neuro-fuzzy systems integrates fuzzy reasoning rules into the connectionist networks. However, the existing neuro-fuzzy systems are developed under shallow structures having lower generalization capacity. We propose the first end-to-end deep neuro-fuzzy network and investigate its application for image classification. Two new operations are developed based on definitions of Takagi-Sugeno-Kang (TSK) fuzzy model namely fuzzy inference operation and fuzzy pooling operations; stacks of these operations comprise the layers in this network. We evaluate the network on MNIST, CIFAR-10 and CIFAR-100 datasets, finding that the network has a reasonable accuracy in these benchmarks.

연구 동기 및 목표

• 이미지 분류를 위한 엔드 투 엔드 학습을 가능하게 하는 딥 뉴로 퍼지 아키텍처를 개발함으로써 얕은 뉴로 퍼지 시스템의 한계를 극복하는 것.
• 컴퓨터 비전 분야에서 깊이 있는 계층적 뉴로 퍼지 구조의 부재를 보완하기 위해 TSK 퍼지 모델에 기반한 새로운 연산을 도입하는 것.
• 제안된 네트워크의 성능을 표준 이미지 분류 벤치마크에서 평가하여 일반화 능력을 입증하는 것.
• 퍼지 추론을 딥 러닝과 통합된 프레임워크 내에서 통합함으로써 해석 가능성은 유지하면서도 경쟁력 있는 정확도를 달성하는 것.

제안 방법

• 단일 입력 다중 출력(SIMO) TSK 규칙 기반 시스템을 이미지 부분 영역에 적용하는 퍼지 인퍼런스 연산을 제안하며, 각 규칙은 특정 패턴을 포괄한다.
• 이미지 부분 영역과 학습된 퍼지 패턴 템플릿 간의 내적 곱 유사도를 통해 소속도를 계산하며, 정규화를 통해 [0,1] 범위로 제약한다.
• 모든 규칙의 활성도를 확률적 일관성 확보를 위해 정규화 처리하며, 공식 $\overline{P_k} = P_k / \sum_{j=1}^K P_j$ 를 사용한다.
• 정규화된 활성도를 사용하여 가중치 합산을 통해 규칙 출력을 조합한다: $y_i = \sum_{k=1}^K \overline{P_k} f_{ik}(x)$, 여기서 $f_{ik}(x)$ 는 비선형 함수이다.
• 특징 맵의 다운샘플링을 가능하게 하면서도 퍼지 논리 의미를 유지하는 퍼지 풀링 연산을 도입하여 계층적 특징 추상화를 가능하게 한다.
• 퍼지 집합 파라미터와 출력 함수 계수를 최적화하기 위해 경사 하강법을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 이미지 분류를 위한 엔드 투 엔드 시스템으로서의 딥 뉴로 퍼지 네트워크를 얕거나 하이브리드 모델이 아닌 방식으로 구성할 수 있는가?
• RQ2 TSK 모델에서 유도된 퍼지 인퍼런스 및 퍼지 풀링 연산은 컨볼루션 유사 레이어에서 계층적 특징 학습을 어떻게 가능하게 하는가?
• RQ3 제안된 딥 뉴로 퍼지 네트워크의 성능은 MNIST, CIFAR-10, CIFAR-100과 같은 표준 이미지 벤치마크에서 어떻게 나타나는가?
• RQ4 딥 러닝에 퍼지 논리를 통합함으로써 이미지 분류 작업에서 해석 가능성은 유지하면서도 경쟁력 있는 정확도를 유지는 가능한가?

주요 결과

• 제안된 딥 뉴로 퍼지 네트워크는 MNIST, CIFAR-10, CIFAR-100 데이터셋에서 합리적이고도 경쟁력 있는 분류 정확도를 달성하여 실현 가능성을 입증한다.
• 네트워크는 퍼지 인퍼런스 및 퍼지 풀링 연산을 반복하여 깊이 있는 아키텍처를 구성함으로써 계층적 특징 학습이 가능하다는 점을 입증한다.
• 모델은 규칙 기반 구조를 통해 퍼지 추론을 딥 러닝 프레임워크에 성공적으로 통합하였으며, 이로 인해 해석 가능성을 유지한다.
• 경사 하강법을 통한 엔드 투 엔드 훈련을 통해 퍼지 집합 파라미터와 출력 함수 계수의 효과적인 학습이 가능하다.
• 모델이 퍼지 논리 원리를 기반으로 함에도 불구하고, 동일한 벤치마크에서 표준 딥 뉴럴 네트워크와 유사한 성능을 보이며, 이는 성능의 경쟁력을 입증한다.
• 이 연구는 뷰어션 응용 분야에서 신경-퍼지 시스템을 활용한 해석 가능한 딥 러닝 연구에 대한 기초를 마련한다.