[논문 리뷰] Fuzzy Logic Interpretation of Artificial Neural Networks.

Fenglei Fan, Ge Wang|arXiv (Cornell University)|2018. 07. 04.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 기존의 내적을 제곱 함수로 대체하는 2차 수준의 뉴런을 활용하여 인공 신경망에 퍼지 논리 해석을 제안한다. 이는 XOR과 같은 퍼지 논리 연산의 직접적 구현을 가능하게 하며, 주요 기여는 실현 가능한 퍼지 연산의 체계적 분류와, 딥 퀴드라틱 네트워크가 딥 퍼지 논리 시스템으로 해석될 수 있음을 보여주는 통계 분석이다. 이는 딥 러닝 모델의 해석 가능성 향상에 기여한다.

ABSTRACT

Over past several years, deep learning has achieved huge successes in various applications. However, such a data-driven approach is often criticized for lack of interpretability. Recently, we proposed artificial quadratic neural networks consisting of second-order neurons in potentially many layers. In each second-order neuron, a quadratic function is used in the place of the inner product in a traditional neuron, and then undergoes a nonlinear activation. With a single second-order neuron, any fuzzy logic operation, such as XOR, can be implemented. In this sense, any deep network constructed with quadratic neurons can be interpreted as a deep fuzzy logic system. Since traditional neural networks and second-order counterparts can represent each other and fuzzy logic operations are naturally implemented in second-order neural networks, it is plausible to explain how a deep neural network works with a second-order network as the system model. In this paper, we generalize and categorize fuzzy logic operations implementable with individual second-order neurons, and then perform statistical/information theoretic analyses of exemplary quadratic neural networks.

연구 동기 및 목표

• 딥 러닝 모델의 해석 가능성 부족 문제를 해결하기 위해 인공 신경망에 퍼지 논리 기반의 해석을 제공하는 것.
• 2차 수준의 뉴런이 기존 뉴런이 구현할 수 없는 XOR과 같은 핵심 퍼지 논리 연산을 자연스럽게 구현할 수 있음을 보여주는 것.
• 개별 2차 수준 뉴런을 사용해 실현 가능한 퍼지 논리 연산의 집합을 일반화하고 분류하는 것.
• 예시적인 제곱 함수 신경망에 대한 통계적 및 정보이론적 분석을 수행하여 그 해석 가능성과 퍼지 논리 시스템과의 기능적 동치성을 검증하는 것.

제안 방법

• 기존 뉴런의 선형 내적을 제곱 함수로 대체하여 2차 수준 뉴런을 구성함으로써 비선형 결정 경계를 가능하게 하는 것.
• 제곱 계산 후 비선형 활성화 함수를 적용하여 완전히 미분 가능한 2차 수준 뉴런 유닛을 형성하는 것.
• 제곱 계수를 조정하여 단일 2차 수준 뉴런을 사용해 기본적인 퍼지 논리 연산(예: XOR)을 구현하는 것.
• 이러한 2차 수준 뉴런을 조합하여 복잡한 퍼지 논리 시스템을 모델링하는 딥 네트워크를 구성하는 것.
• 훈련된 제곱 함수 네트워크에 대한 통계적 및 정보이론적 분석을 수행하여 그 행동과 해석 가능성 평가하는 것.
• 수학적 및 경험적 검증을 통해 딥 제곱 함수 네트워크와 딥 퍼지 논리 시스템 간의 형식적 대응 관계를 수립하는 것.

실험 결과

연구 질문

• RQ1 단일 2차 수준 뉴런을 사용해 어떤 퍼지 논리 연산을 실현할 수 있으며, 이를 어떻게 체계적으로 분류할 수 있는가?
• RQ2 2차 수준 뉴런은 왜 표준 선형 뉴런이 표현할 수 없는 비선형적이고 비단조적 논리 연산(예: XOR)을 표현할 수 있는가?
• RQ3 2차 수준 뉴런으로 구성된 딥 네트워크가 어느 정도 깊이의 퍼지 논리 시스템으로 해석될 수 있는가?
• RQ4 제곱 함수 신경망에서 나타나는 통계적 및 정보이론적 성질은 무엇이며, 이는 그들이 퍼지 논리 시스템으로 해석될 수 있음을 어떻게 뒷받침하는가?
• RQ5 딥 러닝 모델의 해석 가능성을 퍼지 논리에 기반한 2차 수준 신경망 프레임워크를 통해 향상시킬 수 있는가?

주요 결과

• 적절히 설정된 제곱 함수를 통해 단일 2차 수준 뉴런은 XOR과 같은 비선형적이고 비단조적 퍼지 논리 연산을 포함해 모든 퍼지 논리 연산을 실현할 수 있다.
• 2차 수준 뉴런은 인공 신경망과 퍼지 논리 시스템 사이의 자연스러운 다리를 놓으며, 딥 네트워크를 퍼지 논리 시스템으로 해석할 수 있는 형식적 기반을 제공한다.
• 제안된 제곱 함수 네트워크 아키텍처는 기존 딥 신경망과 2차 수준 네트워크 간 상호 표현 가능성을 허용하며, 기능적 동치성을 유지한다.
• 예시적인 제곱 함수 네트워크에 대한 통계적 및 정보이론적 분석은 복잡한 논리적 관계를 퍼지 논리 원칙과 일치하는 방식으로 모델링할 수 있음을 확인한다.
• 이 프레임워크는 표현력의 손실 없이 딥 러닝 모델을 퍼지 논리로 해석할 수 있는 체계적인 방법을 제공하며, 투명성을 향상시킨다.