[論文レビュー] Structural Pruning in Deep Neural Networks: A Small-World Approach

Gokul Krishnan, Xiaocong Du+1 more|arXiv (Cornell University)|Nov 11, 2019

Advanced Neural Network Applications参考文献 23被引用数 5

ひとこと要約

本稿では、深層ニューラルネットワークを学習の前段階で小世界トポロジーに変換する構造的プルーニング手法を提案する。高いクラスタリングと低い特徴的パス長を活用することで、グローバルにスパースでローカルに密な構造を実現する。初期化段階で小世界特性を強制することで、LeNet-5（MNIST）ではパラメータを2.3%、VGG-16（CIFAR-10）では9.02%にまで削減し、高い精度を維持する。これにより、ハードウェアデプロイにおけるメモリとインターコネクトコストを顕著に低減できる。

ABSTRACT

Deep Neural Networks (DNNs) are usually over-parameterized, causing excessive memory and interconnection cost on the hardware platform. Existing pruning approaches remove secondary parameters at the end of training to reduce the model size; but without exploiting the intrinsic network property, they still require the full interconnection to prepare the network. Inspired by the observation that brain networks follow the Small-World model, we propose a novel structural pruning scheme, which includes (1) hierarchically trimming the network into a Small-World model before training, (2) training the network for a given dataset, and (3) optimizing the network for accuracy. The new scheme effectively reduces both the model size and the interconnection needed before training, achieving a locally clustered and globally sparse model. We demonstrate our approach on LeNet-5 for MNIST and VGG-16 for CIFAR-10, decreasing the number of parameters to 2.3% and 9.02% of the baseline model, respectively.

研究の動機と目的

• ハードウェアプラットフォーム上でのメモリとインターコネクトコストを増加させる、過剰なパラメータ化と構造的冗長性を是正すること。
• 学習の前段階で、高いクラスタリングと低いパス長を特徴とする小世界ネットワーク特性を活用して、モデルサイズとインターコネクトコストを低減すること。
• 局所的に密でグローバルにスパースな接続性を持つ、構造的でスパースなDNNアーキテクチャを構築し、ハードウェア実装を効率化すること。
• 従来のプルーニング手法よりも高いモデル圧縮を達成するとともに、ベースライン精度を維持または上回ること。

提案手法

• 本手法は、ネットワーク構造の特性に基づいて、確率 $ p $ でランダムな再接続を導入することで、事前学習済みDNNを小世界ネットワークに変換することから始める。
• 小世界構造は学習の前段階で強制され、高いクラスタリング係数（C）と低い特徴的パス長（L）を確保し、脳ネットワークの効率性を模倣する。
• スパースでクラスタリングされた初期化からネットワークを学習し、構造的制約とパラメータの重要度の両方に基づいたプルーニングが行われる。
• 最終的なモデルは精度最適化の対象となり、極めて少ないパラメータ数にもかかわらず高い性能を維持する。
• 層ごとのインターコネクト密度を分析したところ、高層層ではベースラインの20%以下、低層層では40–60%の密度を示すことが判明。これは特徴の相関性とクラスタリングに起因する。
• パラメータ $ p $ は、精度評価を通じて最適なスパarsityと性能のバランスを見つけるために調整される。

実験結果

リサーチクエスチョン

• RQ1 小世界ネットワーク構造をDNNに効果的に適用することで、学習の前段階でモデルサイズとインターコネクトコストを低減できるか？
• RQ2 初期化段階で小世界特性（高いC、低いL）を強制すると、モデルの精度とパラメータ効率にどのような影響を与えるか？
• RQ3 小世界トポロジーに基づく事前学習構造的プルーニングは、標準的な学習後プルーニングに比べ、パラメータ削減とハードウェア効率の面で優れているか？
• RQ4 DNNにおけるスパarsityを最大化しながら高い精度を維持するための最適なランダムネスレベル（$ p $）は何か？
• RQ5 小世界構造を持つDNNにおいて、層ごとのインターコネクト密度はどのように変化するか？また、これはハードウェア設計に何を示唆するか？

主な発見

• MNIST用LeNet-5では、小世界モデルがベースラインの2.3%にまでパラメータを削減し、97.7%の圧縮を達成。[4]など従来手法よりパラメータ効率に優れた結果を得た。
• CIFAR-10用VGG-16では、パラメータを90.8%削減（3.74M vs. 41.5M）し、93.24%の精度を維持。[5]より圧縮効率に優れた結果を示した。
• 最適なランダムネスパラメータ $ p $ は、LeNet-5では0.001、VGG-16では0.0001であった。スパarsityと精度のバランスを最適化した。
• 層ごとの分析から、低層では特徴相関が強いことから高いインターコネクト密度（40–60%）を維持している一方、高層ではよりスパース（≤20%）であることが判明。
• 小世界アプローチにより、局所的に密でグローバルにスパースなアーキテクチャが実現され、メモリとインターコネクトオーバーヘッドを低減したハードウェアマッピングが可能になった。
• 本手法は、モデルサイズを大幅に削減しながらも、ベースラインモデルと同等またはより高い精度を達成した。これにより、ネットワークトポロジーに基づく構造的プルーニングの有効性が示された。