[論文レビュー] On the emergence of tetrahedral symmetry in the final and penultimate layers of neural network classifiers.

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Dec 10, 2020

Neural Networks and Applications参考文献 11被引用数 9

ひとこと要約

この論文は、深層ニューラルネットワーク分類器の直前層における観察された正四面体対称性を解析的に説明しており、ネットワークの表現能力のおかげで、同じクラスに属するデータ点が高次元空間内の正単体の頂点に収束することを示している。さらに、浅いネットワークでは、最終層にそのような対称性が現れないことから、より深いアーキテクチャが幾何的データ配置を形作る上で重要な役割を果たしていることが明らかになった。

ABSTRACT

A recent numerical study observed that neural network classifiers enjoy a large degree of symmetry in the penultimate layer. Namely, if $h(x) = Af(x) +b$ where $A$ is a linear map and $f$ is the output of the penultimate layer of the network (after activation), then all data points $x_{i, 1}, \dots, x_{i, N_i}$ in a class $C_i$ are mapped to a single point $y_i$ by $f$ and the points $y_i$ are located at the vertices of a regular $k-1$-dimensional standard simplex in a high-dimensional Euclidean space. We explain this observation analytically in toy models for highly expressive deep neural networks. In complementary examples, we demonstrate rigorously that even the final output of the classifier $h$ is not uniform over data samples from a class $C_i$ if $h$ is a shallow network (or if the deeper layers do not bring the data samples into a convenient geometric configuration).

研究の動機と目的

• 深層ニューラルネットワーク分類器の直前層における対称的データクラスタリングの経験的観察を説明すること。
• なぜそのような対称性が深層ネットワークでは現れるが、浅いネットワークでは現れないのかを調査すること。
• ニューラルネットワークの直前層および最終層におけるクラス表現の幾何的配置を分析すること。
• 同じクラスに属するデータ点が高次元空間内で対称的な位置に写像されるための条件を確立すること。

提案手法

• 線形変換と非線形活性化関数を用いた、非常に表現力のある深層ニューラルネットワークの解析的モデリング。
• 直前層出力を $ h(x) = Af(x) + b $ と定義し、$ f $ を最終分類器層前の活性化出力とする。
• 幾何的議論を用いて、同じクラス $ C_i $ に属するデータ点が単一の点 $ y_i $ に写像され、正の $ k-1 $ 次元単体を形成することを示す。
• 浅いネットワークを用いた補足的な例を構築し、最終出力層に一様性が欠けることから、対称性の欠如を示す。
• 対称性と不変性の原則を適用して、高次元空間における単体配置の出現を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 なぜ同じクラスに属するデータ点が、深層ニューラルネットワークの直前層で正単体の頂点にクラスタリングするのか？
• RQ2 ニューラルネットワーク分類器の表現空間において、正四面体対称性がどのようなアーキテクチャ的条件下で出現するのか？
• RQ3 なぜ浅いネットワークでは、そのような対称性が最終出力層に現れないのか？
• RQ4 より深い層は、ネットワーク内でのクラス表現の幾何的整理にどのように寄与するのか？

主な発見

• 非常に表現力のある深層ネットワークでは、同じクラスに属するデータ点が直前層で単一の点に写像され、高次元空間内に正単体配置を形成する。
• その対称性は、ネットワークの深さ、表現力、および最終分類器層前の線形変換の相互作用に起因する。
• 浅いネットワークでは、最終分類器出力 $ h $ は同じクラスに属するサンプル間で一様性を示さず、対称的クラスタリングの欠如が示される。
• クラス表現の幾何的配置は、データを好都合な多様体に再編成するより深い層の存在に依存する。