[論文レビュー] The Local Elasticity of Neural Networks

Hangfeng He, Weijie Su|arXiv (Cornell University)|Apr 30, 2020

Neural Networks and Applications参考文献 67被引用数 15

ひとこと要約

この論文は、異なる入力において勾配更新がなされた後もモデルの予測が安定するという、ニューラルネットワークにおけるローカル弾性という現象を導入する。幾何学的解析を通じてニューラル接線カーネル（NTK）と新しい類似性測度を用い、MNISTおよびCIFAR-10における強いクラスタリングを実証し、現実のデータにおけるローカル弾性の存在を確認するとともに、深層ネットワークの挙動に関する洞察を提供する。

ABSTRACT

This paper presents a phenomenon in neural networks that we refer to as local elasticity. Roughly speaking, a classifier is said to be locally elastic if its prediction at a feature vector x' is not significantly perturbed, after the classifier is updated via stochastic gradient descent at a (labeled) feature vector x that is dissimilar to x' in a certain sense. This phenomenon is shown to persist for neural networks with nonlinear activation functions through extensive simulations on synthetic datasets, whereas this is not the case for linear classifiers. In addition, we offer a geometric interpretation of local elasticity using the neural tangent kernel (Jacot et al., 2018). Building on top of local elasticity, we obtain pairwise similarity measures between feature vectors, which can be used for clustering in conjunction with K-means. The effectiveness of the clustering algorithm on the MNIST and CIFAR-10 datasets in turn confirms the hypothesis of local elasticity of neural networks on real-life data. Finally, we discuss implications of local elasticity to shed light on several intriguing aspects of deep neural networks.

研究の動機と目的

• モデルが関心のある入力とは異なる入力で更新された後、その入力における予測が安定しているかどうかを調査すること。
• ニューラル接線カーネル（NTK）を用いて、この安定性の幾何的理解を構築すること。
• ローカル弾性に基づいて特徴ベクトル間のペアワイズ類似性測度を導出すること。
• 提案された類似性測度が、MNIST や CIFAR-10 などの実データセットにおけるクラスタリングタスクで有効であるかを評価すること。
• ローカル弾性が深層ニューラルネットワークの一般化および挙動を理解する上で示す広範なインサイトを探ること。

提案手法

• ローカル弾性の概念を提唱する。これは、関心のある入力とは異なる入力でモデルを更新した後、その入力における予測の変化が最小限であることを定義する。
• ニューラル接線カーネル（NTK）を用いてローカル弾性の幾何的解釈を提供し、モデルの内蔵されたインダクティブバイアスと関連付ける。
• 勾配更新による予測変化の大きさに基づいて、特徴ベクトル間のペアワイズ類似性測度を構築する。
• K-meansクラスタリングパイプラインに類似性測度を適用し、MNISTおよびCIFAR-10における性能を評価する。
• 非線形ネットワークにおけるローカル弾性の有効性を検証するため、合成データセットを用いた広範なシミュレーションを実施し、線形分類器と対比する。
• 異なる入力におけるSGD更新に対する予測の安定性を分析し、ローカル弾性の持続性を実証的に確認する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、類似しない入力で更新された後、その入力における予測を安定的に保っているか？
• RQ2 非線形ニューラルネットワークと線形分類器との間でローカル弾性はどのように異なるか？
• RQ3 ニューラル接線カーネルを用いてローカル弾性を形式化し、幾何学的に解釈できるか？
• RQ4 ローカル弾性から導かれる類似性測度は、実世界のデータセットにおけるクラスタリング性能を向上させることができるか？
• RQ5 ローカル弾性は、深層学習の一般化およびインダクティブバイアスに関するどのような広範なインサイトを明らかにするか？

主な発見

• 合成データセットのシミュレーションにより、非線形活性化関数を有するニューラルネットワークではローカル弾性が観察されるが、線形分類器では観察されないことが確認された。
• ニューラル接線カーネルは、広いニューラルネットワークにおけるローカル弾性の出現を説明する幾何的フレームワークを提供する。
• ローカル弾性に基づく提案されたペアワイズ類似性測度は、K-meansとの組み合わせでMNISTおよびCIFAR-10におけるクラスタリング性能を向上させた。
• 異なる入力におけるSGD更新に対する予測の安定性は、深層ネットワークに内蔵された暗黙のインダクティブバイアスの一種を示している。
• ローカル弾性は現実のデータにおいても持続するため、ニューラルネットワークが局所的な滑らかさだけでなく、遠く離れた点での更新に対しても頑健であるという点で一般化していることが示唆される。
• この現象は、ニューラルネットワークが局所的補間を越えて、一般化を支援する構造的かつ安定的なデータ表現を暗黙的に学習している可能性を示唆している。