[論文レビュー] A Measure of the Complexity of Neural Representations based on Partial Information Decomposition

David A. Ehrlich, Andreas C. Schneider+3 more|arXiv (Cornell University)|Sep 21, 2022

Neural Networks and Applications被引用数 12

ひとこと要約

本稿では、部分的情報分解（PID）に基づく情報理論的測度としての表現的複雑性を導入し、深層ニューラルネットワークにおける複数のニューロンに分散されたタスク関連情報へのアクセスの難易度を定量化する。この手法は、重複する、固有の、協同的な情報寄与を分離し、量子化されたMNISTおよびCIFAR10ネットワークにおいて、層を跨いで表現的複雑性が低下し、トレーニング中にも低下する傾向を示しており、神経表現構造を分析するための原理的かつ解釈可能なツールを提供する。

ABSTRACT

In neural networks, task-relevant information is represented jointly by groups of neurons. However, the specific way in which this mutual information about the classification label is distributed among the individual neurons is not well understood: While parts of it may only be obtainable from specific single neurons, other parts are carried redundantly or synergistically by multiple neurons. We show how Partial Information Decomposition (PID), a recent extension of information theory, can disentangle these different contributions. From this, we introduce the measure of "Representational Complexity", which quantifies the difficulty of accessing information spread across multiple neurons. We show how this complexity is directly computable for smaller layers. For larger layers, we propose subsampling and coarse-graining procedures and prove corresponding bounds on the latter. Empirically, for quantized deep neural networks solving the MNIST and CIFAR10 tasks, we observe that representational complexity decreases both through successive hidden layers and over training, and compare the results to related measures. Overall, we propose representational complexity as a principled and interpretable summary statistic for analyzing the structure and evolution of neural representations and complex systems in general.

研究の動機と目的

• 深層ニューラルネットワークにおける分類ラベルに関する情報がニューロンにどのように分散されているかを定量化するための原理的で解釈可能な指標の不足に対処すること。
• 部分的情報分解（PID）を用いて、ニューロン活動の寄与がタスク関連情報に与える重複・固有・協同的寄与を分離する手法を開発すること。
• 1つの情報のアクセスに必要なニューロンの平均数を捉える、計算可能で解釈可能な指標「表現的複雑性」を提案すること。
• 理論的境界を伴うサブサンプリングおよび粗粒度化手順を用いて、大規模なニューラルネットワークの分析を可能にすること。
• 表現的複雑性がトレーニング中および層を跨いで神経表現に生じる変化を追跡するための有効性を実証すること。

提案手法

• 分類ラベルとニューロン活性の間の相互情報量を、重複・重複しない・協同的寄与という重複のない原子に分解するため、部分的情報分解（PID）を用いる。
• 表現的複雑性を、PIDの原子とその協同的レベルに基づき、1つの情報にアクセスするために必要なニューロンの平均数として定義する。
• サブサンプリングおよび粗粒度化技術を用いて、より大きなネットワーク層への適用を可能にし、粗粒度化手順に対して理論的境界を証明する。
• 協同的PIDに基づく理論的に妥当で、測度論的に明確に定義された推定器を採用し、量子化ネットワークへの適用を可能にする。
• nninfo Pythonパッケージを用いて、量子化重みを有するMNISTおよびCIFAR10モデルの計算と再現を実施する。
• 全体の表現的複雑性および各クラスごとの変化を分析することで、表現ダイナミクスの微細な解釈を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおける分類ラベルに関するタスク関連情報は、ニューロンにどのように分散されているか—具体的には、そのうちどれくらいが重複・固有・協同的寄与であるか。
• RQ2 ある情報にアクセスするために必要なニューロンの平均数は何か、そしてそれは層を跨いで、またトレーニング中にどのように変化するか。
• RQ3 大規模なニューラルネットワーク層に対して表現的複雑性を効率的に計算できるか。また、サブサンプリングや粗粒度化のような近似手法に対して理論的保証はあるか。
• RQ4 表現的複雑性は、ニューラルネットワークの表現構造を測る既存の他の指標と比較してどうか。
• RQ5 特定のクラスでは表現的複雑性が高かったり低かったりするか。また、トレーニング中にその複雑性は均一に減少するのではなく、クラスごとに異なる速度で変化するか。

主な発見

• 量子化されたMNISTおよびCIFAR10ネットワークにおいて、連続する隠れ層を跨いで表現的複雑性が低下しており、情報へのアクセスがより効率的になっていることを示している。
• トレーニング中に表現的複雑性が低下する傾向を示しており、ネットワークがタスク関連情報のより効率的で低複雑性の表現へと進化していることを示唆している。
• 提案されたサブサンプリングおよび粗粒度化手順は、理論的境界を伴う信頼性の高い近似を提供し、大規模ネットワークへの適用を可能にしている。
• この手法により、情報が固有・重複・協同的寄与の混合によってニューロンに分散されていることが明らかになり、特に複雑な表現において協同的寄与が重要な役割を果たしている。
• 表現的複雑性はクラスごとに計算可能であり、一部のクラスでは他のクラスよりも高い複雑性で表現されており、トレーニング中の複雑性低下がクラス間で一様でないことが示された。
• この指標は解釈可能で情報理論に根ざしており、ニューラルネットワーク解析における恣意的なスパarsityや複雑性指標の代替として原理的な選択肢を提供する。