[論文レビュー] Greedy Optimization Provably Wins the Lottery: Logarithmic Number of Winning Tickets is Enough

Mao Ye, Lemeng Wu+1 more|arXiv (Cornell University)|Oct 29, 2020

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、ほとんどの実用的ディープネットワークに適用可能な弱い仮定のもとで、削減されたネットワークサイズ $n$ に関して、$\mathcal{O}(\exp(-cn))$ の指数的誤差減少率を保証するグリーディー最適化に基づくネットワークプルーニング手法を提案する。従来の方法が多項式的誤差率であるのに対し、本手法は計算的に効率的で、深く過パラメータ化されていないアーキテクチャにも適用可能であり、元のネットワークの性能に著しく速く収束することを保証する。

ABSTRACT

Despite the great success of deep learning, recent works show that large deep neural networks are often highly redundant and can be significantly reduced in size. However, the theoretical question of how much we can prune a neural network given a specified tolerance of accuracy drop is still open. This paper provides one answer to this question by proposing a greedy optimization based pruning method. The proposed method has the guarantee that the discrepancy between the pruned network and the original network decays with exponentially fast rate w.r.t. the size of the pruned network, under weak assumptions that apply for most practical settings. Empirically, our method improves prior arts on pruning various network architectures including ResNet, MobilenetV2/V3 on ImageNet.

研究の動機と目的

• 深層ニューラルネットワークをどの程度までプルーニングしても精度を維持できるかという、未解決の理論的問いに答えること。
• 従来の手法を上回る理論的保証に基づく誤差減少を達成するプルーニング手法を開発すること。
• 実世界のディープネットワークに適用可能な弱い仮定のもとで動作することを保証し、過パラメータ化の必要を回避すること。
• ResNet、MobileNet、DGCNNなど多様なアーキテクチャで、先行研究の最良手法を上回る性能を実現する実用的で効率的なアルゴリズムを提供すること。

提案手法

• 本手法は、元のネットワークの活性化分布との距離を最小化するニューロンを反復的に選択するグリーディー・フランク＝ウォルフ風最適化を用いる。
• プルーニングをニューロン活性化の凸包近似問題として定式化し、最小誤差のサブネットワークへの収束を保証する。
• アルゴリズムは、層内の平均活性化ベクトルに対するニューロンの寄与度に基づき、グリーディー前向き選択戦略を用いてニューロンを選択する。
• 活性化の凸包の幾何的性質を活用し、リプシッツ連続性を用いて近似誤差をバインドする。
• アルゴリズムは層ごとに順次適用され、元のネットワークの関数的挙動を保持するプルーネッドネットワークを構築する。
• 理論的保証を損なわずに計算効率を向上させるための実用的高速化技術を導入する。

実験結果

リサーチクエスチョン

• RQ1 従来の手法の $\mathcal{O}(n^{-1})$ の誤差率よりも、プルーニングにおける理論的誤差減少率を著しく速くできるか？
• RQ2 元のネットワークが過パラメータ化されていなくても、指数的誤差減少（$\mathcal{O}(\exp(-cn))$）を達成できるか？
• RQ3 弱く現実的で、実用的仮定のもとで、グリーディー最適化手法が深層ネットワークのプルーニングに理論的に正当化可能か？
• RQ4 ResNet や MobileNet などの多様なアーキテクチャにおいて、本手法は従来のプルーニングベースラインと比べてどのように性能を発揮するか？
• RQ5 理論的誤差バウンドは、計算効率を確保しつつ、最小限の精度低下で実際の実装でも達成可能か？

主な発見

• 提案手法は、$\mathcal{O}(\exp(-cn))$ の指数的誤差減少率を達成し、従来手法の $\mathcal{O}(n^{-1})$ または $\mathcal{O}(n^{-2})$ の誤差率よりも著しく速い。
• 理論的誤差バウンドは弱い仮定のもとで成立し、過パラメータ化は必要とせず、大多数の実用的ディープネットワークに適用可能である。
• 実験的に、ImageNet および ModelNet40 ベンチマークにおいて、ResNet-34、MobileNetV2/V3、DGCNN において、従来の最先端のプルーニング技術を上回る性能を発揮した。
• 実装が簡単であり、時間効率を向上させるための実用的高速化技術を内蔵しており、性能に影響を与えない。
• 完全に訓練されたネットワークから、高性能なサブネットワークを効果的に同定でき、トレーニング後に「ワインング・チケット」が見つけ出せることを示した。
• 理論的分析により、プルーニングされたネットワークと元のネットワークとの間の誤差が、プルーニングされたネットワークサイズに従って指数的に減少することが確認された。