[논문 리뷰] Understanding the Feedforward Artificial Neural Network Model From the Perspective of Network Flow

Dawei Dai, Weimin Tan외 1명|arXiv (Cornell University)|2017. 04. 26.

Advanced Decision-Making Techniques인용 수 15

한 줄 요약

이 논문은 피드포워드 인공신경망(ANN)을 네트워크 플로우 모델로 재구성하며, 각 클래스는 레이어를 가로질러 활성화된 뉴런들로 구성된 방향성 클래스 경로로 표현된다. 이러한 경로를 통해 상호 경로 간 거리와 노드 중요도를 분석함으로써 저자들은 ANN의 의사결정 과정에 대한 해석 가능성을 제공하며, 다층퍼셉트론(MLP)과 컨volutional 네트워크(CNN) 모델에서 검증된 바, 더 나은 구조적 이해와 최적화 가능성을 제공한다.

ABSTRACT

In recent years, deep learning based on artificial neural network (ANN) has achieved great success in pattern recognition. However, there is no clear understanding of such neural computational models. In this paper, we try to unravel "black-box" structure of Ann model from network flow. Specifically, we consider the feed forward Ann as a network flow model, which consists of many directional class-pathways. Each class-pathway encodes one class. The class-pathway of a class is obtained by connecting the activated neural nodes in each layer from input to output, where activation value of neural node (node-value) is defined by the weights of each layer in a trained ANN-classifier. From the perspective of the class-pathway, training an ANN-classifier can be regarded as the formulation process of class-pathways of different classes. By analyzing the the distances of each two class-pathways in a trained ANN-classifiers, we try to answer the questions, why the classifier performs so? At last, from the neural encodes view, we define the importance of each neural node through the class-pathways, which is helpful to optimize the structure of a classifier. Experiments for two types of ANN model including multi-layer MLP and CNN verify that the network flow based on class-pathway is a reasonable explanation for ANN models.

연구 동기 및 목표

• 딥러닝 모델의 해석 가능성 부족 문제를 해결하기 위해 인공신경망을 이해하는 데 새로운 프레임워크를 제공하는 것.
• 각 출력 클래스를 나타내는 방향성 클래스 경로를 갖는 네트워크 플로우 시스템으로 피드포워드 ANNs를 모델링하는 것.
• 클래스 경로 간 기하학적 관계를 분석하여 분류기 성능과 일반화 능력을 설명하는 것.
• 경로 구조에 기반한 뉴런 중요도를 정의하여 모델 최적화를 위한 기반을 마련하는 것.
• 다층퍼셉트론(MLP)과 컨volutional 네트워크(CNN) 양쪽에서 네트워크 플로우 관점의 타당성을 검증하는 것.

제안 방법

• 학습된 ANN에서 입력층에서 출력층으로 이어지는 활성화된 뉴런들을 연결하여 각 클래스를 방향성 클래스 경로로 표현하는 것.
• 각 레이어의 기여도를 반영한 가중치 기반의 노드 값(활성화 값)을 정의하며, 이는 학습된 분류기 가중치에서 유도된다.
• 학습 과정을 각 클래스에 대해 독립적이고 겹치지 않는 클래스 경로의 형성으로 모델링하는 것.
• 클래스 간 경로 간 거리를 측정하여 특징 공간 내에서의 분리 가능성과 의사결정의 강건성을 평가하는 것.
• 모든 클래스에 걸쳐 클래스 경로 내에서 노드의 빈도와 중심성에 기반해 노드 중요도를 정량화하는 것.
• 실증적 검증을 위해 다층퍼셉트론(MLP)과 컨volutional 네트워크(CNN) 양쪽에 프레임워크를 적용하는 것.

실험 결과

연구 질문

• RQ1 피드포워드 신경망은 어떻게 구조화된 클래스 경로를 갖는 네트워크 플로우 시스템으로 이해할 수 있는가?
• RQ2 상호 경로 간 거리는 분류기 성능과 일반화에 어떤 역할을 하는가?
• RQ3 네트워크 플로우 관점에서 노드 중요도는 어떻게 체계적으로 정의할 수 있는가?
• RQ4 클래스 경로 모델은 다층퍼셉트론(MLP)과 컨볼루션 네트워크(CNN) 아키텍처의 행동을 어느 정도 설명할 수 있는가?
• RQ5 네트워크 플로우 프레임워크는 효과적인 모델 프루닝 또는 구조적 최적화를 이끌 수 있는가?

주요 결과

• 클래스 경로 기반의 네트워크 플로우 모델은 피드포워드 ANN 행동을 일관되고 해석 가능한 프레임워크로 제공한다.
• 경로 간 거리와 분류 성능 간 상관관계가 있으며, 더 큰 분리도는 더 나은 일반화를 의미한다.
• 경로 중심성에 기반한 노드 중요도는 분류에 핵심적인 뉴런을 식별하여 타겟팅된 프루닝이나 개선을 가능하게 한다.
• 프레임워크는 MLP 및 CNN 모델에서 실증적으로 검증되었으며, 아키텍처 간 일관된 해석 가능성을 보였다.
• 이 방법은 가중치가 부여된 방향성 경로를 통해 ANN이 클래스를 어떻게 인코딩하고 분리하는지에 대한 구조적 통찰을 드러낸다.
• 핵심 경로 구성 요소에 초점을 맞춤으로써 네트워크 아키텍처 최적화를 위한 새로운 시각을 제공한다.