[論文レビュー] GNN-RL Compression: Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning.

Sixing Yu, Arya Mazaheri+1 more|arXiv (Cornell University)|Feb 5, 2021

Advanced Graph Neural Networks参考文献 36被引用数 8

ひとこと要約

この論文では、FLOPs制約下で圧縮方針を最適化するためのトポロジーに配慮したチャネルプルーニング手法、GNN-RL Compressionを提案する。深層ニューラルネットワーク（DNN）からの構造的情報を抽出するためにマルチステージのグラフニューラルネットワーク（GNN）を用い、強化学習（RL）を適用することで、VGG-16では最大80%のFLOPs削減を達成し、ShuffleNet-v1では最先端手法を上回る最大1.84%の精度向上を実現した。また、プルーニング後のVGG-16では推論速度が1.38倍に向上し、GPUメモリ使用量が141 MB削減された。

ABSTRACT

Model compression is an essential technique for deploying deep neural networks (DNNs) on power and memory-constrained resources. However, existing model-compression methods often rely on human expertise and focus on parameters' local importance, ignoring the rich topology information within DNNs. In this paper, we propose a novel multi-stage graph embedding technique based on graph neural networks (GNNs) to identify the DNNs' topology and use reinforcement learning (RL) to find a suitable compression policy. We performed resource-constrained (i.e., FLOPs) channel pruning and compared our approach with state-of-the-art compression methods using over-parameterized DNNs (e.g., ResNet and VGG-16) and mobile-friendly DNNs (e.g., MobileNet and ShuffleNet). We evaluated our method on various models from typical to mobile-friendly networks, such as ResNet family, VGG-16, MobileNet-v1/v2, and ShuffleNet. The results demonstrate that our method can prune dense networks (e.g., VGG-16) by up to 80% of their original FLOPs. More importantly, our method outperformed state-of-the-art methods and achieved a higher accuracy by up to 1.84% for ShuffleNet-v1. Furthermore, following our approach, the pruned VGG-16 achieved a noticeable 1.38$ imes$ speed up and 141 MB GPU memory reduction.

研究の動機と目的

• 従来のモデル圧縮手法がDNNの構造的トポロジーを無視し、局所的なパrameterの重要性に依存しているという限界に対処すること。
• 深層ニューラルネットワークにおけるグローバルな構造的依存関係を捉えるトポロジーに配慮したプルーニングフレームワークの開発。
• 強化学習を用いてFLOPs制約が厳しい条件下でも圧縮方針を最適化すること。
• ResNet や VGG-16 といった過パラメータ化されたモデルから、MobileNet や ShuffleNet といったモバイルフレンドリーなネットワークまで、多様なアーキテクチャに対して評価すること。
• リソース制約のある環境下で、最先端の圧縮技術よりも高い精度と効率を達成すること。

提案手法

• 深層ニューラルネットワーク内のレイヤー間の階層的かつ構造的な関係をモデル化するために、グラフニューラルネットワーク（GNN）に基づくマルチステージのグラフ埋め込み技術が用いられる。
• GNNベースの埋め込みは、パrameterの大きさを越えた構造的重要性の理解を可能にする、トポロジーに配慮したネットワークアーキテクチャ表現を捉える。
• GNNで学習されたトポロジー埋め込みに基づいて、強化学習（RL）エージェントがチャネルプルーニング方針を選択し、精度とFLOPs制約の両方を最適化する。
• RLエージェントは逐次的決定プロセスを実行し、各レイヤーで特定のチャネルをプルーニングするアクションをとることで、ターゲットのFLOPs予算を満たす。
• 本手法は、ResNet、VGG-16、MobileNet-v1/v2、ShuffleNet など、さまざまなDNNにエンドツーエンドで適用され、構造的およびパフォーマンスフィードバックに基づいたプルーニングが行われる。
• トレーニングパイプラインは、GNNベースのトポロジー符号化とRLベースのポリシー最適化を統合し、自動的かつトポロジーに配慮した圧縮を可能にする。

実験結果

リサーチクエスチョン

• RQ1 GNNベースのアプローチは、より良いプルーニング意思決定のため、深層ニューラルネットワークの構造的トポロジーを効果的に捉えることができるか？
• RQ2 GNNとRLを用いたトポロジーに配慮したプルーニングは、従来のパrameter重要度に基づくプルーニングと比較して、精度と効率の面でどのように異なるか？
• RQ3 提案手法は、多様なDNNアーキテクチャにわたり、FLOPsをどれほど削減しつつ、モデルの精度を維持または向上させることができるか？
• RQ4 特にモバイルフレンドリーなモデルにおいて、実用的デプロイメント環境で顕著な高速化とメモリ削減を達成できるか？
• RQ5 過パラメータ化されたアーキテクチャから軽量アーキテクチャに至るまで、さまざまなネットワークタイプに対して、GNN-RL圧縮フレームワークはどれほど頑健か？

主な発見

• 提案手法は、VGG-16に対して最大80%のFLOPs削減を達成しながらも高い精度を維持し、密度の高いネットワークにおける強力な圧縮能力を示した。
• ShuffleNet-v1では、最先端手法を上回る最大1.84%の精度向上を達成し、モバイル環境下での有効性を強力に示した。
• プルーニング後のVGG-16モデルでは、推論時間に1.38倍の高速化と、GPUメモリ使用量が141 MB削減されたことから、実用的な効率向上が確認された。
• 本手法は、ResNet、VGG-16、MobileNet-v1/v2、ShuffleNet など多様なアーキテクチャにわたり良好に一般化され、一貫した性能向上を示した。
• GNNによるトポロジーに配慮した表現とRLベースのポリシー学習を活用することで、従来の技術と比較して、モデルサイズ、速度、精度のバランスをより良く達成した。