[論文レビュー] What Do Compressed Deep Neural Networks Forget?

Sara Hooker, Aaron Courville+3 more|arXiv (Cornell University)|Nov 13, 2019

Advanced Neural Network Applications参考文献 86被引用数 85

ひとこと要約

この論文は剪定と量子化が分類器の性能に与える影響をトップラインの精度を超えて監査し、圧縮によって不均等に影響を受ける少数の事例（PIEs）を明らかにし、手法が不均等影響に差をつける。

ABSTRACT

Deep neural network pruning and quantization techniques have demonstrated it is possible to achieve high levels of compression with surprisingly little degradation to test set accuracy. However, this measure of performance conceals significant differences in how different classes and images are impacted by model compression techniques. We find that models with radically different numbers of weights have comparable top-line performance metrics but diverge considerably in behavior on a narrow subset of the dataset. This small subset of data points, which we term Pruning Identified Exemplars (PIEs) are systematically more impacted by the introduction of sparsity. Compression disproportionately impacts model performance on the underrepresented long-tail of the data distribution. PIEs over-index on atypical or noisy images that are far more challenging for both humans and algorithms to classify. Our work provides intuition into the role of capacity in deep neural networks and the trade-offs incurred by compression. An understanding of this disparate impact is critical given the widespread deployment of compressed models in the wild.

研究の動機と目的

• ネットワーク圧縮（剪定と量子化）が全体の精度を超えて一般化にどのように影響するかを動機づけ、定量化する。
• 特定のクラスや例が圧縮に不均等に影響を受けるかを特定する。
• 圧縮モデルの不均等な害を監査する正式な枠組みを開発し、トレードオフを定量化する。
• 圧縮と分布シフトおよびノイズ耐性の相互作用を検討する。

提案手法

• 圧縮下の相対クラス recall を基準精度と比較してクラスレベルの影響を測定する枠組みを定義する。
• 統計検定（ウェルチの t 検定）用に圧縮設定ごとにKモデルの母集団を訓練し、クラス別精度の分布を作成する。
• 全体の精度変化を抑制するため、クラスごとの相対 recall 偏差を算出する。
• Pruning Identified Exemplars (PIEs) を、剪定モデルと非剪定モデルの予測がモーダルラベルで異なる画像として導入する。
• CIFAR-10、CelebA、ImageNet 各種アーキテクチャと複数のスパース性レベルで剪定と三つのポストトレーニング量子化方式を評価する。

実験結果

リサーチクエスチョン

• RQ1 圧縮手法は全体精度の変化を超えて、いくつかのクラスを他よりも影響を受けさせるのか？
• RQ2 PIEs とは何であり、非 PIEs と比較してどのような特性を示すのか？
• RQ3 圧縮は分布シフトやノイズ耐性に対する頑健性にどのように影響するのか？
• RQ4 量子化はタスク間で剪定より不均等な害をもたらすのか？

主な発見

• トップラインの精度だけでは、圧縮下でのクラス間の不均一な影響が見逃されがちである。
• 剪定下での recall 削減が統計的に有意なクラスの小さなサブセットを示し、スパース性の増加とともに顕著になる（例：50% スパースで170クラス、70% スパースで372クラス）。
• PIEs は人工・人間の分類の双方にとって不均衡に難しく、PIEs の出現は高いスパース性で増加する（ImageNet では90%スパースで 10.27%）。
• 剪定モデルは自然な敵対的画像やノイズに対する感度が高く、スパース性が高いほど増幅される。
• 量子化は剪定より不均等な害を生じにくい傾向があり、最も粗い int8 固定小数点量子化は中程度の剪定より多くのクラスに影響を与えるが、高スパース性剪定には相対的には劣る。
• 非均一な影響はタスクの難易度に依存して変化する。CIFAR-10 は ImageNet より影響を受けるクラスが少なく、過剰パラメータ化とタスクの難易度が不均等効果を調整していることを示唆する。