[論文レビュー] Calibrate and Prune: Improving Reliability of Lottery Tickets Through Prediction Calibration

Bindya Venkatesh, Jayaraman J. Thiagarajan+2 more|arXiv (Cornell University)|Feb 10, 2020

Gambling Behavior and Treatments参考文献 32被引用数 7

ひとこと要約

本論文では、過パラメータ化されたニューラルネットワークの学習中に予測の信頼度をキャリブレーションすることで、ロットリーチの信頼性と一般化性能を向上させることを提案している。ドレインの前段階で、ミックスアップ、分散重み付き信頼度キャリブレーション、尤度ベースキャリブレーション、正規化されたビン割り当てといったキャリブレーション戦略を統合することで、著者らは、結果として得られる部分ネットワークが、特に分布シフト下で標準的なロットリーチ手法を最大12%上回る優れた正確性とキャリブレーション性能を達成することを示している。CIFAR-10Cベンチマークにおける劣化データに対して。

ABSTRACT

The hypothesis that sub-network initializations (lottery) exist within the initializations of over-parameterized networks, which when trained in isolation produce highly generalizable models, has led to crucial insights into network initialization and has enabled efficient inferencing. Supervised models with uncalibrated confidences tend to be overconfident even when making wrong prediction. In this paper, for the first time, we study how explicit confidence calibration in the over-parameterized network impacts the quality of the resulting lottery tickets. More specifically, we incorporate a suite of calibration strategies, ranging from mixup regularization, variance-weighted confidence calibration to the newly proposed likelihood-based calibration and normalized bin assignment strategies. Furthermore, we explore different combinations of architectures and datasets, and make a number of key findings about the role of confidence calibration. Our empirical studies reveal that including calibration mechanisms consistently lead to more effective lottery tickets, in terms of accuracy as well as empirical calibration metrics, even when retrained using data with challenging distribution shifts with respect to the source dataset.

研究の動機と目的

• 過パラメータ化されたネットワークにおける信頼度キャリブレーションがロットリーチの品質に与える影響を調査すること。
• キャリブレーションされたモデルが、分布シフト下でもより良い一般化性能を示す部分ネットワークを生成するかどうかを評価すること。
• さまざまなキャリブレーション技術がロットリーチのパフォーマンスと信頼性に与える影響を調査すること。
• 事前学習段階での明示的キャリブレーションが、標準的なLTH（Lottery Ticket Hypothesis）戦略に比べ、より強固で正確なロットリーチを生成できるかどうかを特定すること。

提案手法

• 過パラメータ化されたモデルの学習中に、ミックスアップ正則化、分散重み付き信頼度キャリブレーション（VWCC）、確率的推論を伴う尤度ベース信頼度キャリブレーション（LWCC-SI）、正規化されたビン割り当てといった、一連のキャリブレーション戦略を適用する。
• マグニチュードベースのプルーニングを適用する前に、明示的なキャリブレーション目的関数を用いて過パラメータ化ネットワークを学習する。
• マグニチュードベースの基準を用いてネットワークをプルーニングし、非ゼロの重みを元の値に再初期化することでロットリーチを特定する。
• 標準的および劣化したテストセット（例：CIFAR-10-C）に対して、得られたスパースな部分ネットワークを再学習し、一般化性能とキャリブレーションを評価する。
• 正確性や期待キャリブレーション誤差（ECE）といった標準的な指標を用いて、パフォーマンスと信頼性を評価する。
• さまざまなアーキテクチャとデータセット間で結果を比較し、キャリブレーションの利点が一貫しているかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習段階で信頼度キャリブレーションを組み込むことで、分布シフト下におけるロットリーチの一般化性能が向上するか？
• RQ2 異なるキャリブレーション戦略がロットリーチの正確性と信頼性にどのように影響を与えるか？
• RQ3 学習段階でのキャリブレーションが、標準的なロットリーチ初期化戦略を用いても、より優れた性能を示す部分ネットワークを生成できるか？
• RQ4 CIFAR-10のような複雑で挑戦的なデータセットでは、MNIST や Fashion-MNIST といった単純なデータセットと比較して、キャリブレーションの利点が顕著に現れるか？

主な発見

• 事前学習段階でのキャリブレーションは、常にロットリーチのパフォーマンスを向上させ、特にFog、Frost、SnowといったCIFAR-10-Cで最も深刻な劣化が生じた場合に最大12%の正確性向上を達成している。
• キャリブレーションされたモデルから得られたウィンニングチケットは、高い圧縮比であっても、標準的なLTHチケットを上回る顕著な一般化性能を示している。
• パフォーマンスの向上は、期待キャリブレーション誤差（ECE）を用いた測定で、すべてのテスト済みデータセットとモデルで顕著に改善されたキャリブレーションスコアと併せ、顕著に伴っている。
• MNIST や Fashion-MNIST といった単純なデータセットでは、信頼度キャリブレーションによる改善はわずかであり、キャリブレーションの利点が複雑で変動の大きいタスクで顕著に現れることを示唆している。
• 過剰な正則化、例えばVWCCにおけるドロップアウトの増加は、すでに適切にキャリブレートされたモデルでは性能を低下させることがあるため、キャリブレーション強度にはトレードオフがあることが示唆されている。
• 結果として、プルーニングや初期化戦略を変更せずに、事前学習段階でのキャリブレーションが、正確性と信頼性の両方を向上させる強力で効果的な手法であることが示された。