[論文レビュー] Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators

Noah Gamboa, Kais Kudrolli+2 more|arXiv (Cornell University)|Jan 9, 2020

Adversarial Robustness in Machine Learning参考文献 36被引用数 8

ひとこと要約

Campfireは、畳み込みニューラルネットワーク（CNN）における正則化を不要とする、構造的スパースな学習手法を提案する。この手法は、カーネル、フィルタ、および組み合わせ的粒度で固定されたプルーニングマスクを用いて、学習の初期段階でスパース性を強制する。ImageNetにおけるResNet-50では70%のスパース性を達成し、精度の低下は1%未塔であり、FGSM攻撃に対しても頑健性を維持する。

ABSTRACT

This paper studies structured sparse training of CNNs with a gradual pruning technique that leads to fixed, sparse weight matrices after a set number of epochs. We simplify the structure of the enforced sparsity so that it reduces overhead caused by regularization. The proposed training methodology Campfire explores pruning at granularities within a convolutional kernel and filter. We study various tradeoffs with respect to pruning duration, level of sparsity, and learning rate configuration. We show that our method creates a sparse version of ResNet-50 and ResNet-50 v1.5 on full ImageNet while remaining within a negligible <1% margin of accuracy loss. To ensure that this type of sparse training does not harm the robustness of the network, we also demonstrate how the network behaves in the presence of adversarial attacks. Our results show that with 70% target sparsity, over 75% top-1 accuracy is achievable.

研究の動機と目的

• ハードウェアアクセラレータ向けにスパース学習における正則化の高い計算およびメモリのオーバーヘッドを低減すること。
• モデルの精度や頑健性を損なわず、CNNで高いスパース性（60–70%）を達成すること。
• 効率的で固定構造のスパース性を初期学習段階から実現し、ハードウェアの圧縮と計算高速化を可能にすること。
• 不規則な計算を最小限に抑えることで、従来のアクセラレータアーキテクチャと互換性を持つ構造的スパース性を実現すること。
• 精度指標を超えて現実世界での実用性を保証するため、スパースモデルの敵対的頑健性を評価すること。

提案手法

• 学習の初期段階（20–30エポック）にマグニチュードベースのプルーニングを適用し、残りの学習期間中はスパース重みマスクを永久に固定する。
• 畳み込みカーネル窓内（R×S）、特徴マップ全体（CK）、および組み合わせ的構成の3つの粒度で構造的スパース性を強制する。
• 正則化項（例：ノルムに基づくペナルティ）を排除することで、計算オーバーヘッドを低減し、ハードウェア効率を向上させる。
• スパースパターンを早期に固定することで、一貫した重み圧縮を可能にし、ハードウェアがゼロ乗算をスキップできるようにする。
• 学習全期間を通じて固定されたスパースマスクを用いることで、一貫したパラメータ予算を維持し、メモリアクセスのオーバーヘッドを低減する。
• プルーニングの前には少なくとも20エポックの密な学習を実施することで、モデル容量と収束精度を保持する。

実験結果

リサーチクエスチョン

• RQ1 正則化を排除した状態で、初期段階の学習から構造的スパース性を強制することで、ハードウェア計算のオーバーヘッドを低減できるか？
• RQ2 スパース性の持続期間、スパースレベル、および学習率スケジュールの最適なトレードオフは何か？ これは高い精度を維持する上で重要である。
• RQ3 早期かつ固定されたスパース性は、密なモデルと比較して敵対的頑健性にどのような影響を与えるか？
• RQ4 ImageNetで精度劣化を最小限に抑えながら、スパース性を60–70%まで高めることは可能か？
• RQ5 固定された構造的スパース性は、再圧縮や解凍のオーバーヘッドなしに、効率的なハードウェアアクセcelerationを可能にするか？

主な発見

• Campfireは、ImageNetにおけるResNet-50で70%のスパース性を達成し、密なベースラインと比較してトップ-1精度の低下は1%未塔である。
• この手法はFGSM攻撃に対しても頑健性を維持しており、敵対的条件下でもスパースモデルが密なモデルと同等の性能を示す。
• 少なくとも20エポック目までプルーニングを延期することが、高い収束精度を達成するために不可欠であることが示され、初期の密な学習の重要性が浮き彫りになった。
• プルーニング後、追加で10エポックの学習を実施すると、約1%の精度上昇が得られ、スパース性に起因する性能劣化を相殺できる。
• 提案されたウィンドウ、CK、および組み合わせ的スパース性スキームは、固定された構造的スパース性パターンのおかげで、効率的なハードウェアマッピングを可能にする。
• 正則化を排除した学習は、計算の不規則性を低減し、エネルギー効率が高く、アクセラレータにやさしい推論および学習を支援する。