[論文レビュー] Understanding the Feedforward Artificial Neural Network Model From the Perspective of Network Flow

Dawei Dai, Weimin Tan+1 more|arXiv (Cornell University)|Apr 26, 2017

Advanced Decision-Making Techniques被引用数 15

ひとこと要約

この論文は、各クラスが層を跨る活性化されたニューロンによって形成される有向クラスパスウェイで構成されるネットワークフロー・モデルとして、フィードフォワード型人工ニューラルネットワーク（ANN）を再定式化する。これらのパスウェイを通じて、相互のパスウェイ間距離とノードの重要度を分析することにより、著者らはANNの意思決定プロセスの解釈可能性を提供し、MLPおよびCNNモデルにおいて構造的理解の向上と最適化の可能性が裏付けられている。

ABSTRACT

In recent years, deep learning based on artificial neural network (ANN) has achieved great success in pattern recognition. However, there is no clear understanding of such neural computational models. In this paper, we try to unravel "black-box" structure of Ann model from network flow. Specifically, we consider the feed forward Ann as a network flow model, which consists of many directional class-pathways. Each class-pathway encodes one class. The class-pathway of a class is obtained by connecting the activated neural nodes in each layer from input to output, where activation value of neural node (node-value) is defined by the weights of each layer in a trained ANN-classifier. From the perspective of the class-pathway, training an ANN-classifier can be regarded as the formulation process of class-pathways of different classes. By analyzing the the distances of each two class-pathways in a trained ANN-classifiers, we try to answer the questions, why the classifier performs so? At last, from the neural encodes view, we define the importance of each neural node through the class-pathways, which is helpful to optimize the structure of a classifier. Experiments for two types of ANN model including multi-layer MLP and CNN verify that the network flow based on class-pathway is a reasonable explanation for ANN models.

研究の動機と目的

• ディープラーニングモデルにおける解釈可能性の欠如に応えるため、人工ニューラルネットワークを理解するための新しいフレームワークを提供すること。
• 各出力クラスを表す方向性のあるクラスパスウェイを備えたネットワークフロー・システムとして、フィードフォワード型ANNをモデル化すること。
• クラスパスウェイ間の幾何的関係を分析し、分類器の性能と一般化能力を説明すること。
• パスウェイ構造に基づいてニューロンの重要度を定義し、モデルの最適化を可能にすること。
• マルチレイヤーパーセプトロン（MLP）および畳み込みニューラルネットワーク（CNN）の両方において、ネットワークフローの視点を実証的に検証すること。

提案手法

• 訓練済みのANNにおける各クラスを、入力層から出力層に至る活性化されたニューロンを接続することで、有向クラスパスウェイとして表現する。
• 各層からの寄与を重み付きで表すノード値（活性化値）を定義し、訓練済みの分類器の重みから導出する。
• 学習プロセスを、各クラスに対して明確に分離され、重複のないクラスパスウェイの形成とモデル化する。
• クラス間パスウェイ距離を測定し、特徴空間における分離性と意思決定の頑健性を評価する。
• すべてのクラスにわたるパスウェイ内でのノードの頻度と中心性に基づき、ノードの重要度を定量化する。
• 実証的検証のため、マルチレイヤーパーセプトロン（MLP）および畳み込みニューラルネットワーク（CNN）の両方へこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 フィードフォワード型ニューラルネットワークは、構造的なクラスパスウェイを備えたネットワークフロー・システムとしてどのように解釈できるか？
• RQ2 パスウェイ間距離は、分類器の性能と一般化にどのような役割を果たすか？
• RQ3 ネットワークフローの視点から、ノードの重要度を体系的に定義する方法は何か？
• RQ4 クラスパスウェイモデルは、MLPおよびCNNアーキテクチャの挙動をどの程度説明できるか？
• RQ5 ネットワークフローのフレームワークは、効果的なモデルのプルーニングや構造的最適化を導くことができるか？

主な発見

• クラスパスウェイに基づくネットワークフロー・モデルは、フィードフォワード型ANNの挙動を理解するための整合的で解釈可能なフレームワークを提供する。
• パスウェイ間距離は分類性能と相関しており、分離が大きいほど一般化性能が優れていることを示す。
• パスウェイの中心性に基づくノードの重要度は、分類に重要なニューロンを特定でき、標的となるプルーニングや最適化を可能にする。
• このフレームワークはMLPおよびCNNモデルの両方で実証的に検証され、アーキテクチャを問わず一貫した解釈可能性を示している。
• このアプローチは、重み付きで方向性を持つパスウェイを通じて、ANNがクラスをどのように符号化・分離しているかという構造的洞察を明らかにする。
• この手法は、重要なパスウェイ要因に注目することで、ネットワークアーキテクチャの最適化に新たな視点を提供する。