[論文レビュー] Spatial-Winograd Pruning Enabling Sparse Winograd Convolution

Jiecao Yu, Jongsoo Park+1 more|arXiv (Cornell University)|Jan 8, 2019

Robotics and Sensor-Based Localization参考文献 14被引用数 9

ひとこと要約

本稿では、空間ドメインでの構造的 pruning を最初に行い、Winograd 変換後にスパarsity を維持する空間-Winograd pruning を提案する。その後、重要度要因行列を用いて収束を加速する Winograd ドメインでの直接 pruning と再訓練を実施する二段階の手法である。CIFAR-10、CIFAR-100、ImageNet において、それぞれ 63%、50%、74% の Winograd ドメインスパarsity を達成し、精度損失を最小限に抑えた。

ABSTRACT

Deep convolutional neural networks (CNNs) are deployed in various applications but demand immense computational requirements. Pruning techniques and Winograd convolution are two typical methods to reduce the CNN computation. However, they cannot be directly combined because Winograd transformation fills in the sparsity resulting from pruning. Li et al. (2017) propose sparse Winograd convolution in which weights are directly pruned in the Winograd domain, but this technique is not very practical because Winograd-domain retraining requires low learning rates and hence significantly longer training time. Besides, Liu et al. (2018) move the ReLU function into the Winograd domain, which can help increase the weight sparsity but requires changes in the network structure. To achieve a high Winograd-domain weight sparsity without changing network structures, we propose a new pruning method, spatial-Winograd pruning. As the first step, spatial-domain weights are pruned in a structured way, which efficiently transfers the spatial-domain sparsity into the Winograd domain and avoids Winograd-domain retraining. For the next step, we also perform pruning and retraining directly in the Winograd domain but propose to use an importance factor matrix to adjust weight importance and weight gradients. This adjustment makes it possible to effectively retrain the pruned Winograd-domain network without changing the network structure. For the three models on the datasets of CIFAR10, CIFAR-100, and ImageNet, our proposed method can achieve the Winograd domain sparsities of 63%, 50%, and 74%, respectively.

研究の動機と目的

• pruning に起因するスパarsity と Winograd 卷積の不適合性、特に変換過程でスパarsity が消失する問題に対処すること。
• ネットワーク構造の変更なしに、Winograd ドメインでの高スパarsity を実現し、極めて遅い再訓練を回避すること。
• 構造的 pruning を用いて空間ドメインのスパarsity を保持し、効果的な Winograd ドメインでの再訓練を可能にすること。
• 重要度要因行列による勾配調整を導入することで、Winograd ドメイン再訓練における極めて低い学習率の必要性を低減すること。

提案手法

• 空間的構造的 pruning は、空間ドメインでの構造的重み pruning を実行し、Winograd ドメインへのスパarsity 伝達を最大化することを目的として設計されている。
• この手法は、空間ドメインの重みを Winograd ドメインに変換する際に構造的スパarsity を保持するため、事前に定義された変換行列 G と B を用いる。
• Winograd 直接 pruning は、元のネットワーク構造を維持したまま、Winograd ドメインで直接 pruning と再訓練を実施する。
• 重要度要因行列 F が導入され、出力活性化に与える影響に基づいて Winograd ドメイン重みの勾配の大きさを調整する。
• 重要度要因行列は、出力活性化が重みの変化に対してどれほど感受性があるかを計算することで得られ、より効果的かつ迅速な再訓練を可能にする。
• 本手法は二段階で構成される：(1) 初期段階で Winograd ドメイン再訓練を回避するための空間的構造的 pruning、(2) 勾配調整付き Winograd 直接 pruning を用いたスパarsity のさらなる向上。

実験結果

リサーチクエスチョン

• RQ1 空間ドメインでの構造的 pruning は、Winograd ドメインでの再訓練を要せず、スパarsity を効果的に伝達できるか？
• RQ2 Winograd ドメインでの直接 pruning と再訓練は、高いスパarsity を維持しながらモデル精度を保持できるか？
• RQ3 重要度要因行列は、ネットワーク構造の変更なしに、Winograd ドメイン再訓練の収束速度と有効性を向上させられるか？
• RQ4 本手法は、スパース Winograd 卷積 や Winograd-ReLU pruning といった先行手法と比較して、スパarsity と精度の両面で優れているか？

主な発見

• 提案手法の空間-Winograd pruning は、CIFAR-10 で 63% の Winograd ドメインスパarsity を達成し、トップ-1 精度損失はたった 0.1% にとどまる。
• CIFAR-100 では、50% の Winograd ドメインスパarsity を達成し、元の精度にほぼ等しい精度を維持した。
• ImageNet では、74% の Winograd ドメインスパarsity を達成し、先行手法を上回り、トップ-1 精度損失は 0.1% 未満であった。
• 重要度要因行列を用いることで、スパarsity を 76% にまで削減した場合の精度損失が 22% から 10% に低下し、モデル性能の維持に有効であることが示された。
• 10 エポックの Winograd 再訓練において、重要度要因行列を用いることで精度損失が 0.2% に低下したのに対し、勾配調整なしでは 0.7% にとどまらなかった。
• 本手法は、Winograd ドメイン再訓練における極めて低い学習率の必要性を回避し、先行手法よりも高速な収束を実現した。