[論文レビュー] FLOPs as a Direct Optimization Objective for Learning Sparse Neural Networks

Raphael Tang, Ashutosh Adhikari+1 more|arXiv (Cornell University)|Nov 7, 2018

Advanced Neural Network Applications参考文献 11被引用数 20

ひとこと要約

本論文では、L0正則化フレームワークを拡張し、微分可能でFLOPsを制御可能な目的関数を導入することで、ニューラルネットワーク学習中にターゲットとなるFLOPs数を直接最適化する新規手法を提案する。FLOPsをサーヴィェイリング目的関数とスコア関数推定器によるソフト制約として組み込むことで、明示的なFLOPs制御が可能となり、MNIST、CIFAR-10、CIFAR-100の各データセットで最先端の精度・効率トレードオフを達成する。

ABSTRACT

There exists a plethora of techniques for inducing structured sparsity in parametric models during the optimization process, with the final goal of resource-efficient inference. However, few methods target a specific number of floating-point operations (FLOPs) as part of the optimization objective, despite many reporting FLOPs as part of the results. Furthermore, a one-size-fits-all approach ignores realistic system constraints, which differ significantly between, say, a GPU and a mobile phone -- FLOPs on the former incur less latency than on the latter; thus, it is important for practitioners to be able to specify a target number of FLOPs during model compression. In this work, we extend a state-of-the-art technique to directly incorporate FLOPs as part of the optimization objective and show that, given a desired FLOPs requirement, different neural networks can be successfully trained for image classification.

研究の動機と目的

• ニューラルネットワークスパース化手法において、FLOPsが主に結果指標として報告されるのに対し、直接的なFLOPs最適化が欠如している問題に対処すること。
• 実際のシステム制約（モバイルデバイスやGPUへのデプロイなど）に適合させるために、訓練中にターゲットFLOPs値を指定可能にすること。
• 最先端のL0正則化フレームワークを拡張し、最適化目的関数にFLOPsをソフトで微分可能な制約として組み込むこと。
• FLOPsがレイテンシーやエネルギー消費の原理的代理指標として機能できることを示し、精度を損なわずモデル効率を向上させること。

提案手法

• 本手法は、非ゼロパラメータ数にのみ依存するFLOPs目的関数 $ L_{\text{flops}}(h, \boldsymbol{\theta}) $ を導入し、畳み込み層および全結合層の標準的なFLOPs式を用いる。
• バイナリゲート上のハードコンクリート分布を用いてFLOPs制約を緩和し、微分可能形にすることで勾配ベース最適化を可能にする。
• 交差エントロピーとクリッピングされたFLOPsペナルティを組み合わせた損失関数を定義する：$ \mathcal{L} = \mathbb{E}_{p(\tilde{\mathbf{z}}|\boldsymbol{\phi})}[-\log p(\mathcal{D}|\boldsymbol{\theta} \odot \mathbf{z})] + \lambda_f \mathbb{E}_{p(\mathbf{z}|\psi(\boldsymbol{\phi}))} [\max(0, L_{\text{flops}}(h, \boldsymbol{\theta} \odot \mathbf{z}) - T)] $。
• 各層のFLOPsは標準的な式で計算する：畳み込み層では $ L_{\text{flops}} = (K_wK_hC_{\text{in}} + 1)(I_w - K_w + P_w + 1)(I_h - K_h + P_h + 1) \|\mathbf{z}\|_0 $、全結合層では $ L_{\text{flops}} = (I_n + 1) \|\mathbf{z}\|_0 $。
• FLOPs目的関数は組み合わせ的性質を有するためブラックボックス関数として扱い、スコア関数推定器を用いてバックプロパゲーションを実行する。
• 推論時、学習済み確率に基づきゲートを0または1に設定し、プルーニング後に最終モデルをファインチューニングすることで精度を回復させる。

実験結果

リサーチクエスチョン

• RQ1 FLOPsをニューラルネットワーク学習中にソフト制約として直接最適化することで、精密なモデル圧縮が可能になるか？
• RQ2 FLOPsを目的関数に組み込むことで、標準的なL0正則化と比較して、より優れた精度・効率トレードオフが達成できるか？
• RQ3 訓練中にターゲットFLOPs値を指定することで、実務家がモデル効率を効果的に制御できるか？
• RQ4 FLOPsベースのプルーニングは、精度中心またはパラメータ数中心の手法と比較して、推論レイテンシーやエネルギー効率において優れているか？

主な発見

• MNISTでは、100K FLOPsをターゲットにした際、153K FLOPsで0.9%の誤差率を達成し、ベースラインL0手法よりもFLOPs効率が優れていた。
• CIFAR-10では、4B FLOPsをターゲットにした際、4.6B FLOPsで3.82%の誤差率を達成し、元のモデルに比べてパレート改善を示した。
• CIFAR-100では、4B FLOPsをターゲットにした際、4.6B FLOPsで18.93%の誤差率を達成し、レイテンシに敏感なアプリケーションにおいて妥当な精度・効率トレードオフを示した。
• 訓練中の期待FLOPsが推論時の実際のFLOPsとよく一致しており、サーヴィェイリング目的関数の有効性が裏付けられた。
• 本手法は、ネットワーク全体でFLOPsの大部分を占める畳み込み層を最も積極的に圧縮できた。
• FLOPs制御のためのチューナブルなスイッチを提供でき、実務家が直接ターゲット計算予算を指定し、それを満たすことが可能になった。