[論文レビュー] On Geometric Structure of Activation Spaces in Neural Networks

Yuting Jia, Haiwen Wang+4 more|arXiv (Cornell University)|Apr 2, 2019

Neural Networks and Applications参考文献 25被引用数 5

ひとこと要約

この論文は、全結合ニューラルネットワークの活性化空間の幾何構造を、クラス固有の活性化ベクトルの凸包を近似することで調査する。本研究では、複数のデータセットにわたって一貫した4つの幾何的性質を明らかにする効率的な凸包近似アルゴリズムを提案し、それらを用いて新たな最近傍凸包分類法を構築した。この分類法は、一部のケースで深層ネットワークを上回る性能を示し、過学習の指標としても機能する。

ABSTRACT

In this paper, we investigate the geometric structure of activation spaces of fully connected layers in neural networks and then show applications of this study. We propose an efficient approximation algorithm to characterize the convex hull of massive points in high dimensional space. Based on this new algorithm, four common geometric properties shared by the activation spaces are concluded, which gives a rather clear description of the activation spaces. We then propose an alternative classification method grounding on the geometric structure description, which works better than neural networks alone. Surprisingly, this data classification method can be an indicator of overfitting in neural networks. We believe our work reveals several critical intrinsic properties of modern neural networks and further gives a new metric for evaluating them.

研究の動機と目的

• 全結合ニューラルネットワークの活性化空間の内在的幾何構造を解明すること。
• 活性化ベクトルの高次元凸包を効率的に近似するアルゴリズムを開発すること。
• 活性化空間の幾何的性質が、標準的なニューラルネットワーク推論を上回る分類性能を向上させられるかを検証すること。
• 凸包に基づく解析が、訓練済みモデルにおける過学習の兆候を示す代替指標として機能するかを調査すること。

提案手法

• 大規模かつ高次元の活性化ベクトルの凸包を効率的に計算するための新規近似アルゴリズムを提案する。
• 各全結合層におけるクラス固有の活性化ベクトルの凸包を分析することで、活性化空間を検証する。
• 同じクラスおよび異なるクラスの活性化ベクトル間の距離分布を用いて、幾何的性質を特徴づける。
• 近似された凸包を意思決定境界として用いる最近傍凸包分類法を導入する。
• 4つのベンチマークデータセット（MNIST, CIFAR-10, FOS-CS-5, GOOGLE-8）で手法を検証する。
• 訓練データとテストデータの性能を比較することで、凸包分類器を診断ツールとして用い、過学習の有無を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるデータセットにわたって、全結合層の活性化空間に一貫して存在する幾何的性質は何か？
• RQ2 効率的な凸包近似アルゴリズムは、高次元活性化ベクトルの構造を的確に捉えることができるか？
• RQ3 最近傍凸包に基づく分類は、元のニューラルネットワークの性能を上回るか？
• RQ4 凸包分類器における訓練精度とテスト精度の差は、元のネットワークにおける過学習を示す指標として信頼できるか？

主な発見

• 全結合層の活性化空間には、4つの一貫した幾何的性質が存在する：凸包はクラス固有の活性化ベクトルをきっちりと包み込み、誤って包含される要素は最小限に抑えられる。
• 提案された凸包近似アルゴリズムは、高次元データを効率的に処理でき、元の構造を正確に捉えている。
• 最近傍凸包分類法は、MNIST、CIFAR-10、FOS-CS-5では元のニューラルネットワークを上回るテスト精度を達成し、GOOGLE-8では同等の性能を示した。
• MNISTでは、凸包分類器が96.8%のテスト精度に達し、元のネットワークの92.0%を上回った。
• 凸包指標を用いた評価では、ネットワークの低層部が分類精度により寄与していることが明らかになった。
• 凸包分類器の訓練精度とテスト精度の差は、元のニューラルネットワークにおける過学習を信頼できる指標として機能する。