[論文レビュー] Finding trainable sparse networks through Neural Tangent Transfer

Tianlin Liu, Friedemann Zenke|arXiv (Cornell University)|Jun 15, 2020

Neural Networks and Applications参考文献 35被引用数 4

ひとこと要約

この論文は、ニューラルトランスファーテンジェント（NTT）を導入し、ラベルなしのフォーサイトプリーニング手法として、トレーニングダイナミクス（ニューラルトランスファーテンジェントカーネル（NTK）で特徴づけられる）を密なネットワークと一致させることで、トレーニング可能なスパースなニューラルネットワークを同定する。このアプローチにより、ラベルデータに依存せず、特に畳み込み層のスパース化において、高速な収束と高い精度を実現する。

ABSTRACT

Deep neural networks have dramatically transformed machine learning, but their memory and energy demands are substantial. The requirements of real biological neural networks are rather modest in comparison, and one feature that might underlie this austerity is their sparse connectivity. In deep learning, trainable sparse networks that perform well on a specific task are usually constructed using label-dependent pruning criteria. In this article, we introduce Neural Tangent Transfer, a method that instead finds trainable sparse networks in a label-free manner. Specifically, we find sparse networks whose training dynamics, as characterized by the neural tangent kernel, mimic those of dense networks in function space. Finally, we evaluate our label-agnostic approach on several standard classification tasks and show that the resulting sparse networks achieve higher classification performance while converging faster.

研究の動機と目的

• ラベルデータに依存せず、密なネットワークと類似したトレーニングダイナミクスを維持するトレーニング可能なスパースニューラルネットワークを同定するラベルフリーな手法を開発すること。
• ラベルデータやグローバルプリーニング基準に依存する既存のフォーサイトプリーニング手法の限界を克服すること。
• 計算コストの高い畳み込みフィルタのレイヤーワイズスパース化を可能にし、エネルギー効率の高い推論を実現すること。
• ニューラルトランスファーテンジェントカーネル（NTK）を活用して、スパースネットワークの一般化性能を保証するとともに、高速なトレーニングを実現すること。
• 初期化に基づく理論的裏付けのあるアプローチを提供し、密なネットワークからスパースネットワークへのトレーニングダイナミクスの転送を可能にすること。

提案手法

• この手法は、初期化段階でスパースネットワークと密なネットワークの関数空間におけるトレーニングダイナミクスを、ニューラルトランスファーテンジェントカーネル（NTK）を用いて比較する。
• スパースネットワークのNTKが密なネットワークのNTKから逸脱するのを最小化するように、プリーニング基準を定式化する。
• ラベルなしのデータのみを用いてNTK行列を計算し、プリーニングを誘導するため、ラベルに依存しない。
• NTTはレイヤーワイズのプリーニングを実行し、特に畳み込みフィルタを対象とすることで、計算効率を最大化する。
• この手法は、密なネットワークのトレーニング軌道を保持するスパースネットワーク構造を同定し、高速な収束と高い精度を実現する。
• 線形化されたニューラルネットワークとNTK理論からの理論的知見を活用して、安定的で一般化可能なトレーニングダイナミクスを保証する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの手法は、密なネットワークと類似したトレーニングダイナミクスを示すトレーニング可能なスパースニューラルネットワークを同定できるか？
• RQ2 NTTは、レイヤーワイズで畳み込みフィルタを効果的にスパース化でき、CNNにおけるエネルギー効率を向上させられるか？
• RQ3 NTTは、収束速度と最終的な精度の面で、既存のフォーサイトプリーニング手法を上回るか？
• RQ4 NTTの性能は、さまざまなスパースティレベルやアーキテクチャにおいてどのように変化するか？
• RQ5 教師信号を必要とせずに、NTKに基づくトレーニングダイナミクスが密なネットワークからスパースネットワークに転送可能か？

主な発見

• NTTは、ラベルデータを一切使用せず、データが限られた状況においてもトレーニング可能なスパースネットワークを同定でき、その有用性を示している。
• CIFAR-10およびMNISTベンチマークにおいて、ベースラインのプリーニング手法よりも高い分類精度を達成している。
• NTTは収束を高速化し、標準的なプリーニングベースラインと比較して、より少ないエポックで高い精度に到達するスパースネットワークをトレーニング可能である。
• NTTによるレイヤーワイズプリーニングは、CNNにおけるFLOPsの主な要因である畳み込みフィルタをスパース化することで、計算コストを顕著に削減する。
• 1%のスパースティにおいて、理論的スピードアップが最大4倍に達し、精度の低下は最小限に抑えられ、強力な効率-精度トレードオフを示している。
• 特にグローバルプリーニングに失敗する畳み込み層において、NTTはトレーニングダイナミクスをより効果的に保持し、既存のフォーサイトプリーニング手法を上回っている。