[論文レビュー] Probing neural networks with t-SNE, class-specific projections and a guided tour

Christopher Hoyt, Art B. Owen|arXiv (Cornell University)|Jul 26, 2021

Neural Networks and Applications被引用数 6

ひとこと要約

この論文は、深層ニューラルネットワークの各層を段階的に調査するためのクラス固有の射影とt-SNE可視化を導入し、特徴学習中にクラス内構造がどのように変化するかを明らかにした。初期層ではクラス内に二峰性の部分構造（例：バッグとサンダルのタイプ）をしばしば保持するが、高い分類精度を達成しても後続の層ではその構造が薄れたり消失することがある。本研究では、これらの射影を用いたガイド付きツアー枠組みを提案し、動的な可視化を可能にした。

ABSTRACT

We use graphical methods to probe neural nets that classify images. Plots of t-SNE outputs at successive layers in a network reveal increasingly organized arrangement of the data points. They can also reveal how a network can diminish or even forget about within-class structure as the data proceeds through layers. We use class-specific analogues of principal components to visualize how succeeding layers separate the classes. These allow us to sort images from a given class from most typical to least typical (in the data) and they also serve as very useful projection coordinates for data visualization. We find them especially useful when defining versions guided tours for animated data visualization.

研究の動機と目的

• 推論中における深層ニューラルネットワークの探査のためのグラフィカルツールを開発すること。特に、層を跨ぐ特徴の進化に焦点を当てる。
• バッグやサンダルのサブタイプなど、クラス内に存在するサブ構造（サブタイプ）を特定・可視化すること。
• 標準的なt-SNEを越えて、クラス固有の射影ベクトルを用いることで、再現可能で解釈可能な可視化技術を構築すること。
• 中間層の表現を動的にガイド付きで巡回する（ガイド付きツアー）ことで、特徴変換の解釈性を向上させること。
• ランダム初期化から訓練したネットワークとトランスファー学習による訓練の違いを比較し、初期層の組織的構造の相違を明らかにすること。

提案手法

• ネットワークの深さに沿ってクラスタリングやクラス分離の可視化を目的として、中間層の活性化にt-SNEを適用する。
• 主成分に類似したクラス固有の射影ベクトルを定義し、各クラスごとに訓練して、データの内部構造を明らかにする。
• 全クラスにわたるクラス固有のスコアを正規化し、画像の典型性を比較的にランク付け可能にする。
• これらの射影を用いてガイド付きツアーを構築し、情報量の多い射影ペア間を補間することでアニメーション可視化を実現する。
• ランダム初期化から訓練したネットワーク（CIFAR-10/VGG）とImageNetのトランスファー学習による訓練（Fashion-MNIST/ResNet50）を比較する。
• クラス固有の射影の層ごとのヒストグラムを分析し、二峰性や歪んだ分布が見られるかを検出する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みニューラルネットワークにおいて、フラットなサンダルとハイヒールのサンダルといった画像のサブタイプのようなクラス内構造は、層を跨いでどのように変化するか？
• RQ2 最終分類精度が高くても、初期層に見られる一部のサブ構造が後続の層で消えるのはなぜか？
• RQ3 標準的な主成分分析やt-SNE単体と比較して、クラス固有の射影がどれほどより情報量の多い構造を明らかにするのか？
• RQ4 ランダム初期化から訓練したネットワークとトランスファー学習で微調整したネットワークでは、初期層の組織的構造にどのような違いが生じるか？
• RQ5 クラス固有の射影に基づくガイド付きツアーは、特徴変換の可視化をより解釈可能かつ焦点を絞ったものにできるか？

主な発見

• t-SNE可視化では、バッグやサンダルのようなクラス内クラスタリング（例：明確に分離されたバッグのグループ）が初期層に現れることがあるが、最終層に達する頃には高精度なテスト結果があるにもかかわらず、しばしば消失することがわかった。
• クラス固有の射影により、バッグ（層27から）とサンダル（バッグより早い段階で）の間の層で二峰性の分布が明らかになった。これは、同じクラス内に2つの異なる画像タイプが存在することを示している。
• バッグとサンダルの二峰性構造は、後続の層で薄れ、最終層でのみギャップが閉じる。これは、サブタイプの後期的統合を示唆している。
• バッグとサンダルの最終層のヒストグラムでは二峰性が減少したが、依然として極端な例（例：フラットなサンダルとハイヒールのサンダル）を区別しており、残留構造が存在することが示された。
• ネットワークは球形ではなく楕円体のクラスタを示すニューラルコラプスの変種を示しており、初期段階ではクラスタ間の角度が90°未満であったが、深層に進むにつれて90°に近づいた。
• トランスファー学習（例：Fashion-MNISTにおけるResNet50）で訓練されたネットワークは、ランダム初期化から訓練したネットワーク（例：CIFAR-10におけるVGG）と比較して、t-SNEプロットでより早く構造的な「腕」が発現した。