[논문 리뷰] Dendrite Net: A White-Box Module for Classification, Regression, and System Identification

Gang Liu, Jing Wang|arXiv (Cornell University)|2020. 04. 08.

Neural Networks and Applications참고 문헌 27인용 수 15

한 줄 요약

Dendrite Net (DD)는 생물학적 덴드라이트 계산에 영감을 받은 백박스 기계학습 모듈로, 분류, 회귀 및 시스템 식별을 위해 설계되었다. 입력-출력 관계를 설명할 수 있는 해석 가능한 논리식(AND/OR/NOT)을 사용하여, 기존의 MLP 기반 모델보다 우수한 일반화 성능과 더 빠른 추론 속도를 달성했으며, 다양한 벤치마크에서 정확도, 강인성 및 계산 효율성 향상이 입증되었다.

ABSTRACT

The simulation of biological dendrite computations is vital for the development of artificial intelligence (AI). This paper presents a basic machine learning algorithm, named Dendrite Net or DD, just like Support Vector Machine (SVM) or Multilayer Perceptron (MLP). DD's main concept is that the algorithm can recognize this class after learning, if the output's logical expression contains the corresponding class's logical relationship among inputs (and$\backslash$or$\backslash$not). Experiments and main results: DD, a white-box machine learning algorithm, showed excellent system identification performance for the black-box system. Secondly, it was verified by nine real-world applications that DD brought better generalization capability relative to MLP architecture that imitated neurons' cell body (Cell body Net) for regression. Thirdly, by MNIST and FASHION-MNIST datasets, it was verified that DD showed higher testing accuracy under greater training loss than Cell body Net for classification. The number of modules can effectively adjust DD's logical expression capacity, which avoids over-fitting and makes it easy to get a model with outstanding generalization capability. Finally, repeated experiments in MATLAB and PyTorch (Python) demonstrated that DD was faster than Cell body Net both in epoch and forward-propagation. The main contribution of this paper is the basic machine learning algorithm (DD) with a white-box attribute, controllable precision for better generalization capability, and lower computational complexity. Not only can DD be used for generalized engineering, but DD has vast development potential as a module for deep learning. DD code is available at GitHub: https://github.com/liugang1234567/Gang-neuron .

연구 동기 및 목표

• 생물학적 덴드라이트 기능에 영감을 받은 새로운 해석 가능한 기계학습 모듈을 개발하여 모델의 투명성을 향상시키는 것.
• 블랙박스 딥러닝 모델의 한계를 보완하기 위해 제어 가능한 논리식 표현 능력을 갖춘 백박스 아키텍처를 도입하는 것.
• 기본적인 MLP 아키텍처에 비해 회귀 및 분류 작업에서 더 뛰어난 일반화 성능을 향상시키는 것.
• 해석 가능한 논리 모델링을 통해 블랙박스 동적 시스템의 효율적인 시스템 식별을 가능하게 하는 것.
• 다양한 학습 작업에서 정확도를 유지하거나 향상시키면서도 계산 복잡도를 감소시키는 것.

제안 방법

• DD는 입력 특징에 대한 AND, OR, NOT 연산으로 구성된 논리식 구조를 사용하여 입력-출력 관계를 모델링한다.
• 네트워크 아키텍처는 생물학적 신경세포의 덴드리틱 계산을 모방하도록 설계되었으며, 각 모듈은 논리식 구성 요소를 나타낸다.
• 논리 모듈의 수를 통해 모델 용량을 제어할 수 있어 과적합을 방지하면서도 복잡한 관계를 스케일러블하게 표현할 수 있다.
• 학습은 손실 최소화를 위해 논리식의 파라미터를 최적화하는 방식으로 진행되며, 특히 해석 가능성과 일반화에 중점을 둔다.
• PyTorch 및 MATLAB 모두에서 엔드 투 엔드 학습을 지원하여 실용적 구현과 벤치마크가 가능하다.
• 명시적인 논리적 구조 덕분에 전방 전파가 계산적으로 효율적이며, 계산 오버헤드가 감소한다.

실험 결과

연구 질문

• RQ1 덴드라이트 논리식에 기반한 백박스 기계학습 모델이 기존의 MLP보다 회귀 작업에서 일반화 성능이 뛰어나게 되는가?
• RQ2 해석 가능한 논리식을 사용할 경우 고훈련 손실 조건 하에서 분류 정확도가 향상되는가?
• RQ3 DD는 시스템 식별을 통해 알려지지 않은 블랙박스 동적 시스템을 효과적으로 식별할 수 있는가?
• RQ4 DD 내의 논리 모듈 수가 용량과 일반화 성능에 어떤 영향을 미치는가?
• RQ5 DD는 전통적인 MLP 기반 모델에 비해 훈련 및 추론 시 계산 효율성이 뛰어나게 되는가?

주요 결과

• MNIST 및 Fashion-MNIST 데이터셋에서 DD는 더 높은 훈련 손실 조건 하에서도 Cell Body Net(MLP 기반 모델)보다 높은 테스트 정확도를 달성했다.
• 9개의 실세계 회귀 응용 사례에서 DD는 MLP 기반 아키텍처에 비해 더 뛰어난 일반화 능력을 보였다.
• 블랙박스 동적 시스템에 대해 DD는 뛰어난 시스템 식별 성능을 보였으며, 복잡한 입력-출력 관계를 모델링하는 데의 유용성을 확인했다.
• 효율적인 논리 계산 구조 덕분에 DD는 훈련 에포크 수와 전방 전파 모두에서 Cell Body Net보다 빠른 속도를 보였다.
• DD 내의 모듈 수가 논리식 표현 능력을 효과적으로 제어하여 과적합 없이도 견고한 일반화를 가능하게 했다.
• DD의 백박스 성격 덕분에 학습된 결정 규칙을 정밀하게 해석할 수 있어, 기존 딥러닝 모델에서 찾을 수 없는 투명성을 제공한다.