[論文レビュー] Deep Neural Networks as Complex Networks

Emanuele La Malfa, Gabriele La Malfa+3 more|arXiv (Cornell University)|Sep 12, 2022

Neural dynamics and brain function被引用数 5

ひとこと要約

本稿では、複雑ネットワーク理論（CNT）を用いて、重み、ニューロン、レイヤーのレベルで分析可能な、重み付き有向複雑ネットワークとしての深層ニューラルネットワーク（DNN）のモデル化を初めて提案する。著者らは、CNT指標が異なるアーキテクチャ、活性化関数、性能水準を効果的に区別できることを示しており、特に訓練済みと未訓練のネットワーク間の性能格差を顕在化している。これは、入出力分析を超えた物理的根拠に基づいた、DNN挙動を解釈する補完的アプローチを提供する。

ABSTRACT

Deep Neural Networks are, from a physical perspective, graphs whose `links` and `vertices` iteratively process data and solve tasks sub-optimally. We use Complex Network Theory (CNT) to represents Deep Neural Networks (DNNs) as directed weighted graphs: within this framework, we introduce metrics to study DNNs as dynamical systems, with a granularity that spans from weights to layers, including neurons. CNT discriminates networks that differ in the number of parameters and neurons, the type of hidden layers and activations, and the objective task. We further show that our metrics discriminate low vs. high performing networks. CNT is a comprehensive method to reason about DNNs and a complementary approach to explain a model's behavior that is physically grounded to networks theory and goes beyond the well-studied input-output relation.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）を複雑ネットワーク理論（CNT）を用いて、重み付き有向グラフとして形式的に表現し、複数レベルの分析を可能にするフレームワークを開発すること。
• DNNの重み、ニューロン、レイヤーの各レベルで動的挙動を捉えるCNTベースの指標を同定すること。
• これらの指標が、異なるネットワークアーキテクチャ、活性化関数、性能水準を区別できるかどうかを評価すること。
• 従来の入出力分析を超えた、物理的根拠に基づいた補完的アプローチを通じてDNNを解釈する方法を提供すること。

提案手法

• 著者らはDNNの構成要素をCNTの構成要素にマッピングする：重みをリンク、ニューロンをノード、レイヤーを構造的グループ化とし、重み付き有向グラフを構築する。
• DNNに特化した新たなCNT指標である「ニューロンの強さ（Neurons Strength）」、「ニューロンの活性化（Neurons Activation）」、「ノードの入力強さ（Nodes Input Strength）」を定義・計算する。
• このフレームワークは、MNISTおよびCIFAR10データセット上で、異なるアーキテクチャ、深さ、活性化関数、学習方針を持つ全結合（FC）およびオートエナボーダ（AE）ネットワークの集団に適用される。
• 学習スナップショットを通じて指標を評価し、動的挙動を捉え、異なるネットワーク構成や性能水準間の比較を可能にする。
• 画像分類および信号再構成タスクにおける広範な実験的評価を通じて、アプローチの有効性を検証する。
• 本研究の範囲を超えて、CNT指標の再現および拡張を可能にするオープンソースで拡張可能なパッケージが公開されている。

実験結果

リサーチクエスチョン

• RQ1 複雑ネットワーク理論（CNT）指標は、同じタスクにおいて、全結合ネットワークとオートエナボーダの異なるアーキテクチャを持つDNNを効果的に区別できるか？
• RQ2 浅いネットワークと深いネットワークにおいて、異なる活性化関数（例：ReLU、シグモイド、線形）の下で、CNT指標はどのように変化するか？
• RQ3 精度が低い場合でも、CNT指標は訓練済みと未訓練のネットワーク間の性能差を検出できるか？
• RQ4 CNT指標は、画像分類（MNIST）と信号再構成（CIFAR10）のタスクに特有のパターンを明らかにするか？
• RQ5 CNT指標は、ネットワークの深さやパrameter数の変動に対し、どの程度一般化可能か？

主な発見

• CNT指標は、異なる活性化関数を効果的に区別できる。ReLUネットワークでは、ニューロンの活性化が0付近に集中するが、シグモイドネットワークでは初期レイヤーで二峰性分布を示し、深いレイヤーでは一様性を示す。
• ニューロンの強さの分布は活性化関数の種別によって顕著に異なる。線形およびReLUネットワークでは、極端な値を持つ広いサポートを示すが、シグモイドネットワークでははるかに集中したサポートを示し、その大きさは約2/3小さい。
• MNISTおよびCIFAR10の両方で、深いネットワークは、対応するレイヤー位置における浅いネットワークと類似したCNT指標のトレンドを示しており、深さにわたる構造的一致性が確認された。
• 訓練済みと未訓練のネットワークの間で性能格差が明らかになった。訓練済みネットワークは、特にノードの入力強さ（Nodes Input Strength）において、より安定的かつ構造的なCNT指標分布を示しており、すべてのアーキテクチャでレイヤー6にボトルネックが見られた。
• CIFAR10における全結合ネットワークでは、CNT指標が小規模（28Kパラメータ、38%精度）、中規模（450Kパラメータ、49%精度）、大規模（700万パラメータ、54%精度）アーキテクチャで明確なパターンを示した。特に、ノードの入力強さはレイヤー6で顕著な低下を示した。
• このフレームワークは、タスク固有のダイナミクスを効果的に特定した。画像分類では指標が特徴階層を反映し、信号再構成ではオートエナボーダ固有の信号伝搬パターンを捉えた。