[論文レビュー] On the emergence of simplex symmetry in the final and penultimate layers of neural network classifiers

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Dec 10, 2020

Neural Networks and Applications被引用数 6

ひとこと要約

この論文は、高表現力を持つ深層ネットワークを有界可測関数としてモデル化することで、学習済みニューラルネットワーク分類器の最終層および直前層における単体対称性の出現を解析的に説明する。交差エントロピー損失とノルム制約の下で、最適解が各クラスのデータを直前層で単一の点へ収束させ、正単体を形成することを示している。一方、浅いネットワークではこのような収束が達成されず、深さがこの幾何的単純化を可能にしていることが示唆される。

ABSTRACT

A recent numerical study observed that neural network classifiers enjoy a large degree of symmetry in the penultimate layer. Namely, if $h(x) = Af(x) +b$ where $A$ is a linear map and $f$ is the output of the penultimate layer of the network (after activation), then all data points $x_{i, 1}, \dots, x_{i, N_i}$ in a class $C_i$ are mapped to a single point $y_i$ by $f$ and the points $y_i$ are located at the vertices of a regular $k-1$-dimensional standard simplex in a high-dimensional Euclidean space. We explain this observation analytically in toy models for highly expressive deep neural networks. In complementary examples, we demonstrate rigorously that even the final output of the classifier $h$ is not uniform over data samples from a class $C_i$ if $h$ is a shallow network (or if the deeper layers do not bring the data samples into a convenient geometric configuration).

研究の動機と目的

• ニューラルネットワーク分類器における各クラスのデータが、直前層で単一の点へ収束し、正単体を形成する理由を解析的に説明すること。
• 高表現力を持つネットワークにおいて、ノルム制約と交差エントロピー損失の下で、この単体対称性が最適解として出現することを示すこと。
• 同じ訓練ダイナミクス下で、浅層ネットワークでは最終層でクラス収縮が達成されないことを対比して示すこと。
• 深さが、とりわけ直前層におけるニューラルコラプスの出現に果たす幾何的役割を明確にすること。
• 最終層出力が一様にクラス頂点へマップされるのは、事前に早い段階で有利な幾何的配置が達成されている場合に限ることを確立すること。

提案手法

• 直前層出力を、$ L^∞(\mathbb{P}; \mathbb{R}^m) $ 内の有界可測関数としてモデル化し、高表現力を持つ深層ネットワークを表現する。
• 交差エントロピー損失下での最小化における最小解の存在を保証するため、分類器出力に $ \ell^p $-ノルム制約を課す。
• ノルム束縛下でのソフトマックス交差エントロピー機能の最小化を分析し、最適解がクラスが単体頂点へ収束することを示す。
• 連続時間勾配フローダイナミクスを用いて収束行動を研究し、特に浅層ネットワーク設定における挙動を分析する。
• 非凸な入力クラスを持つ明示的反例を構築し、有利な幾何的配置が事前に存在しない限り、浅層ネットワークではクラス収縮が失敗することを示す。
• 平均場解析を適用し、勾配フロー下でのパラメータダイナミクスを検討し、最終層出力の非一様収束を示す。

実験結果

リサーチクエスチョン

• RQ1 なぜニューラルネットワーク分類器の同一クラスに属するデータポイントが、深層ネットワークの直前層で単一の点へ収束するのか？
• RQ2 分類器の最終層出力が、同じクラスに属するデータポイントに対して一様になるのはどのような条件下か？
• RQ3 なぜ交差エントロピー損失で訓練された浅層ネットワークでは、正単体への収束が実現しないのか？
• RQ4 直前層の幾何的配置が、深層ネットワークにおける最終層出力にどのように影響するのか？
• RQ5 ノルム制約と損失関数の構造が、最終層および直前層における単体対称性を誘導する役割を果たすのはどのような場合か？

主な発見

• $ \ell^p $-ノルム制約と交差エントロピー損失の下で、最適分類器はクラス $ C_i $ のすべてのデータポイントを単一の点 $ y_i $ へマップし、直前層で正単体を形成する。
• 単体の頂点 $ y_i $ は重心から等距離にあり、互いに等角に配置されており、ニューラルコラプスの条件を満たす。
• 浅層ネットワークでは、最適パラメータ下でも連続時間勾配降下法において、各クラスごとの最終層出力 $ h(x) $ は単一の値へ収束しない。
• 最終層の幾何は $ \ell^p $-ノルムの選択に依存するが、直前層の幾何は与えられた制約下でノルムの選択に強く依存しない。
• 3つの離散的データポイントと非凸クラス構造を持つ反例において、$ h(1) - h(-1) $ の差がゼロに収束するのは $ p_3 = 2p_1 $ の場合に限る。これは、有利な幾何的配置がなければクラス収縮が保証されないことを示している。
• 分析により、最終層におけるクラス収縮は損失関数そのものに内在するものではなく、事前に直前層で幾何的単純化が行われている必要があることが示され、深さがこの構造の実現を可能にしていると結論づけられる。