[論文レビュー] Intrinsic dimension of data representations in deep neural networks

Alessio Ansuini, Alessandro Laio+2 more|arXiv (Cornell University)|May 29, 2019

Face and Expression Recognition参考文献 35被引用数 129

ひとこと要約

この論文は、訓練済み CNN の表現が低次元で曲がった多様体上にあり、その固有次元（ID）はレイヤーサイズよりはるかに小さいことを示す。ID は初期レイヤーで上昇し、その後着実に低下し、最後のレイヤーのID がテスト精度を予測する。

ABSTRACT

Deep neural networks progressively transform their inputs across multiple processing layers. What are the geometrical properties of the representations learned by these networks? Here we study the intrinsic dimensionality (ID) of data-representations, i.e. the minimal number of parameters needed to describe a representation. We find that, in a trained network, the ID is orders of magnitude smaller than the number of units in each layer. Across layers, the ID first increases and then progressively decreases in the final layers. Remarkably, the ID of the last hidden layer predicts classification accuracy on the test set. These results can neither be found by linear dimensionality estimates (e.g., with principal component analysis), nor in representations that had been artificially linearized. They are neither found in untrained networks, nor in networks that are trained on randomized labels. This suggests that neural networks that can generalize are those that transform the data into low-dimensional, but not necessarily flat manifolds.

研究の動機と目的

• CNN の層を横断してデータ表現の固有次元性がどのように変化するかを定量化する。
• 訓練済みの表現が低次元で曲がった多様体上にあるのか、それとも線形部分空間上にあるのかを判断する。
• 最後の隠れ層 ID と一般化性能との関係を調査する。
• 訓練済みネットワークと未訓練ネットワーク、ランダムラベルで訓練したネットワーク間で ID プロファイルが異なるかどうかを評価する。

提案手法

• FirstとSecond nearest-neighbor distances の比に基づくグローバルな固有次元推定量 TwoNN を用いて層の活性化の ID を推定する。
• 複数のアーキテクチャ（VGG、AlexNet、ResNet）と複数のデータセットに対して層ごとに TwoNN を適用する。
• 線形 vs 非線形構造を評価するために PCA ベースの次元推定（PC-ID）と ID 推定を比較する。
• スケール不変性と頑健性を検証するためのサブサンプリング解析を実施する。
• CIFAR-10 および MNIST の varianteで訓練中の ID の進化を追跡して訓練ダイナミクスを分析する。
• 一般化の影響を識別するためにランダムラベルで訓練したネットワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 CNN の層ごとに固有次元性はどう変化するか？
• RQ2 CNN 表現のデータ多様体は低次元で曲がっているのか、それとも平坦な線形構造なのか？
• RQ3 最後の隠れ層の ID はネットワークの一般化性能を予測するのか？
• RQ4 未訓練ネットワークやランダムラベルで訓練したネットワークは、標準的に訓練されたネットワークと同じ ID プロファイルを示すのか？
• RQ5 これらの表現における PCA ベースの線形次元推定と非線形固有次元推定はどのように異なるか？

主な発見

• CNN のデータ表現は低次元の多様体を占有しており、ID はレイヤーの ED（embedding dimension）よりもはるかに小さい。
• レイヤーを横断して、ID は初期のレイヤーで一般に増加し、その後最終的な隠れ層に向かって単調に減少する。
• 最後の隠れ層の ID はテストセットの正確さを強く予測する（ID が低いほど予測力が高い。）、
• TwoNN から得られる ID 推定は、PCA で捉えられない曲がった低次元の多様体を示しており、 PC-ID ははるかに高い。
• ランダムに初期化されたネットワークは flat な ID プロファイルを示すが、ランダムラベルで訓練したネットワークは一般化と結びつく特徴的な ID の低下パターンを示さない。これは ID の低下が一般化に関連することを示唆する。
• ID の傾向はアーキテクチャ（VGG、AlexNet、ResNet）をまたいで、相対的な深さで見ると概ね一貫している。