[論文レビュー] Reliable Model Compression via Label-Preservation-Aware Loss Functions.

V. Roshan Joseph, Shoaib Ahmed Siddiqui+6 more|arXiv (Cornell University)|Dec 3, 2020

Machine Learning and Data Classification参考文献 43被引用数 7

ひとこと要約

本稿では、モデル圧縮における教師・生徒モデル間の整合性を向上させ、予測不一致を低減するためのラベル保存意識損失関数を提案する。動的損失成分チューニングにより、8つの実世界アーキテクチャおよび複数の圧縮方式において、予測不一致が最大4.1倍減少し、基準モデルが正しく予測する場合、不一致が最大5.7倍減少する。

ABSTRACT

Model compression is a ubiquitous tool that brings the power of modern deep learning to edge devices with power and latency constraints. The goal of model compression is to take a large reference neural network and output a smaller and less expensive compressed network that is functionally equivalent to the reference. Compression typically involves pruning and/or quantization, followed by re-training to maintain the reference accuracy. However, it has been observed that compression can lead to a considerable mismatch in the labels produced by the reference and the compressed models, resulting in bias and unreliability. To combat this, we present a framework that uses a teacher-student learning paradigm to better preserve labels. We investigate the role of additional terms to the loss function and show how to automatically tune the associated parameters. We demonstrate the effectiveness of our approach both quantitatively and qualitatively on multiple compression schemes and accuracy recovery algorithms using a set of 8 different real-world network architectures. We obtain a significant reduction of up to 4.1X in the number of mismatches between the compressed and reference models, and up to 5.7X in cases where the reference model makes the correct prediction.

研究の動機と目的

• モデル圧縮の過程で、圧縮モデルと基準モデル間の予測ラベル不一致を解消すること。
• 基準ネットワークとのラベル一貫性を維持することで、圧縮モデルの信頼性と機能的同等性を向上させること。
• 知識蒸留の過程でラベル保存を明示的に促進する損失関数の開発。
• 多様なアーキテクチャおよび圧縮手法に最適なパフォーマンスを達成するため、損失成分のハイパーパramータを自動的にチューニングすること。
• 実世界のモデルにおいて、複数の圧縮方式および精度回復アルゴリズムを用いて、手法の評価を行うこと。

提案手法

• 教師・生徒モデル間の予測を整合させるために、ラベル保存意識項を含む修正済み蒸留損失を導入する。
• ラベル保存意識項に動的重み付け機構を組み込み、訓練中に自動的にチューニングすることで、精度とラベル一貫性のバランスをとる。
• 剪定および／または量子化の後、再訓練時に損失関数を適用し、機能的同等性を維持する。
• 基準モデルを教師とし、圧縮モデルを生徒とする教師-生徒フレームワークを採用する。
• 勾配ベース最適化を用いて、標準分類損失とラベル保存意識損失成分を同時に最小化する。
• さまざまな圧縮設定下で、8つの実世界ネットワークアーキテクチャに対してアプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 ラベル保存意識損失項を組み込むことで、圧縮モデルと基準モデル間の予測の一貫性はどの程度向上するか？
• RQ2 損失成分のハイパーパramータを自動的にチューニングすることで、圧縮の信頼性はどの程度向上するか？
• RQ3 提案手法は、異なる圧縮技術において、標準蒸留と比較して予測不一致をどの程度低減できるか？
• RQ4 予測差異を低減する一方で、精度は維持または向上させるか？
• RQ5 本手法は多様なネットワークアーキテクチャおよび圧縮方式において、どの程度の頑健性を示すか？

主な発見

• 提案手法は、ベースライン手法と比較して、圧縮モデルと基準モデル間の予測不一致数を最大4.1倍まで低減した。
• 基準モデルが正しく予測する状況では、不一致数が最大5.7倍まで低減した。
• 本手法は、ResNet、DenseNet、EfficientNetの変種を含む、評価対象の全8つの実世界ネットワークアーキテクチャで一貫した改善を達成した。
• 損失成分の自動チューニングにより、ハイパーパramータ選択への感受性が低減し、一般化性能が向上した。
• ラベル保存意識損失は、モデル精度を劣化させることなく信頼性を向上させ、大多数のケースでトップ-1精度を維持またはわずかに向上させた。
• 定性的な分析により、本手法が、曖昧または敵対的例においても不自然な予測シフトを低減することが確認された。