[論文レビュー] Deep Ensembling with No Overhead for either Training or Testing: The All-Round Blessings of Dynamic Sparsity

Shiwei Liu, Tianlong Chen+7 more|University of Twente Research Information|Jun 28, 2021

Adversarial Robustness in Machine Learning参考文献 86被引用数 12

ひとこと要約

本稿では、動的スパーストレーニングを用いてスパースサブネットワークを再初期化から訓練する、新しい深層アンサンブルフレームワークである$\text{FreeTickets}$を紹介する。この手法は、顕著に低いトレーニングおよび推論コストで、密度型アンサンブルを上回る性能を達成する。追加コストなしに多様で高性能なスパースサブネットワーク（「フリーチケット」）を抽出でき、FLOPsを5分の1に抑えた状態でImageNet上でResNet-50アンサンブルを上回る性能を発揮する。

ABSTRACT

The success of deep ensembles on improving predictive performance, uncertainty estimation, and out-of-distribution robustness has been extensively studied in the machine learning literature. Albeit the promising results, naively training multiple deep neural networks and combining their predictions at inference leads to prohibitive computational costs and memory requirements. Recently proposed efficient ensemble approaches reach the performance of the traditional deep ensembles with significantly lower costs. However, the training resources required by these approaches are still at least the same as training a single dense model. In this work, we draw a unique connection between sparse neural network training and deep ensembles, yielding a novel efficient ensemble learning framework called FreeTickets. Instead of training multiple dense networks and averaging them, we directly train sparse subnetworks from scratch and extract diverse yet accurate subnetworks during this efficient, sparse-to-sparse training. Our framework, FreeTickets, is defined as the ensemble of these relatively cheap sparse subnetworks. Despite being an ensemble method, FreeTickets has even fewer parameters and training FLOPs than a single dense model. This seemingly counter-intuitive outcome is due to the ultra training/inference efficiency of dynamic sparse training. FreeTickets surpasses the dense baseline in all the following criteria: prediction accuracy, uncertainty estimation, out-of-distribution (OoD) robustness, as well as efficiency for both training and inference. Impressively, FreeTickets outperforms the naive deep ensemble with ResNet50 on ImageNet using around only 1/5 of the training FLOPs required by the latter. We have released our source code at https://github.com/VITA-Group/FreeTickets.

研究の動機と目的

• 従来の深層アンサンブルがモデル数に線形に比例して計算コストとメモリコストが増加する問題に対処すること。
• スパースニューラルネットワークを再初期化から訓練することで、効率的で高性能なアンサンブルメンバーとしての可能性を検討すること。
• 単一の密度型モデルよりもトレーニングFLOPsとパラメータ数を低く抑えたアンサンブル性能を達成するフレームワークを開発すること。
• 動的スパーシティを用いて訓練された多様なスパースサブネットワークが、密度型アンサンブルを総合的に上回ることを実証すること。

提案手法

• 動的スパーストレーニング（DST）を用いて、重みと接続性を同時に最適化することで、ランダム初期化からスパースサブネットワークを訓練する。
• 探索と最適化のトレーニングプロトコルを採用：1回の探索フェーズに続いて複数回の最適化フェーズを実行し、多様なサブネットワークを生成する。
• 各サブネットワークを固定されたスパースリティレベル（例：80% または 90%）にプルーニングし、異なるランダムシードを用いて独立して訓練することで多様性を確保する。
• 最終的なアンサンブル、$\text{FreeTickets}$は、追加の推論コストなしにこれらのサブネットワークを統合し、効率性のために動的スパーシティを活用する。
• 構造的スパーシティパターンを用いることで、スパースGEMM演算を介した効率的なトレーニングと推論を可能にする。
• スパースサブネットワークを再初期化から訓練することで、多様かつ高精度であり、効果的なアンサンブルを形成できることを活用する洞察に基づく。

実験結果

リサーチクエスチョン

• RQ1 再初期化から訓練されたスパースサブネットワークは、最小限の計算コストで効果的なアンサンブルメンバーとして機能できるか？
• RQ2 動的に訓練されたスパースサブネットワークのアンサンブルは、精度、不確実性推定、OoD耐性において密度型アンサンブルを上回るか？
• RQ3 このようなアンサンブルのトレーニングコストは、単一の密度型モデルよりも低くなるか？
• RQ4 動的スパーシティの文脈において、サブネットワークの多様性がアンサンブル性能に与える影響は何か？
• RQ5 動的スパーシティトレーニングは、単一モデルおよび密度型アンサンブルを凌駕する効率的で低コストなアンサンブルを可能にするか？

主な発見

• $\text{FreeTickets}$は、ResNet-50を用いてImageNetで96.3%のトップ1精度を達成し、トレーニングFLOPsを5分の1に抑えた状態で密度型アンサンブルを上回る。
• 単一の密度型モデルと比較して、トレーニングFLOPsを50%削減したが、アンサンブルであるにもかかわらず。
• OoD検出において、$\text{FreeTickets}$（EDSTアンサンブル）は、CIFAR-10を基底データ、SVHNをOoDデータとして用いた際、AUC-ROCが0.9658を達成し、単一密度型モデル（0.9655）を上回った。
• 敵対的ロバストネスにおいて、$\text{FreeTickets}$はCIFAR-10で平均ロバスト精度40.35%を達成し、密度型モデル（44.20%）を最小/平均/最大のロバストネスの観点で上回った。
• 静的スパースモデルのアンサンブルでさえ、DSTベースのアンサンブルを敵対的ロバストネスにおいて上回った。これは強力な一般化能力を示している。