[論文レビュー] Dataset Distillation with Convexified Implicit Gradients

Noel Loo, Ramin Hasani+2 more|arXiv (Cornell University)|Feb 13, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、再パラメータ化された凸化された暗黙的勾配を活用することで、最先端の性能を達成する新しいデータセット蒸留アルゴリズムRCIGを提案する。1クラスあたり1枚の画像でImageNetにおいて、先行SOTA比で108%高い精度を達成した。

ABSTRACT

We propose a new dataset distillation algorithm using reparameterization and convexification of implicit gradients (RCIG), that substantially improves the state-of-the-art. To this end, we first formulate dataset distillation as a bi-level optimization problem. Then, we show how implicit gradients can be effectively used to compute meta-gradient updates. We further equip the algorithm with a convexified approximation that corresponds to learning on top of a frozen finite-width neural tangent kernel. Finally, we improve bias in implicit gradients by parameterizing the neural network to enable analytical computation of final-layer parameters given the body parameters. RCIG establishes the new state-of-the-art on a diverse series of dataset distillation tasks. Notably, with one image per class, on resized ImageNet, RCIG sees on average a 108\% improvement over the previous state-of-the-art distillation algorithm. Similarly, we observed a 66\% gain over SOTA on Tiny-ImageNet and 37\% on CIFAR-100.

研究の動機と目的

• 特に1クラスあたりのデータが少ない状況でも高い性能を達成するという課題に取り組む。
• 従来の暗黙的勾配ベースの手法に見られる非凸性と勾配推定における高いバイアスの制限を克服する。
• ImageNet、Tiny-ImageNet、CIFAR-100を含む多様なベンチマークに一般化可能なスケーラブルで正確な蒸留アルゴリズムを開発する。
• 蒸留を防御メカニズムとして活用することで、メンバーシップ推定攻撃に対する耐性を向上させる。

提案手法

• モデルの重みを内部パラメータとし、蒸留データを外部パラメータとする二段階最適化問題としてデータセット蒸留を定式化する。
• 陰関数定理を適用し、内部最適化ループをバックプロパゲーションすることでメタ勾配を計算する。
• 内部最適化を固定された有限幅のニューラルタングエントロピー核（NTK）を用いて近似することで凸化を実現し、非凸問題を凸問題に変換する。
• ニューラルネットワークの再パラメータ化により、本体パラメータから最終層パラメータを解析的に計算可能とし、暗黙的勾配推定におけるバイアスを低減する。
• 安定性と収束性を向上させるために、暗黙的勾配と線形化訓練を組み合わせたハイブリッドアプローチで蒸留データを最適化する。
• トレーニング中にバックプロパゲーションをサブサンプリングすることで、大規模データセットでもメモリ使用量を抑えながら効率的にスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 固定されたNTKを用いて内部最適化問題を凸化することで、暗黙的勾配ベースのデータセット蒸留の性能が向上するか？
• RQ2 ニューラルネットワークアーキテクチャの再パラメータ化が、暗黙的勾配計算におけるバイアスをどのように低減するか？
• RQ3 RCIGは、データの複雑さやクラス数が異なる多様なベンチマークにおいて、既存のSOTA手法をどの程度上回るか？
• RQ4 RCIGを用いたデータセット蒸留は、メンバーシップ推定攻撃に対して効果的な防御手段として機能するか？
• RQ5 内側ステップ数やヘッセ逆行列ステップ数（例：inner steps, Hessian inverse steps）などのハイパーパrameter設定は、異なるデータセットで最適な性能を発揮するか？

主な発見

• 1クラスあたり1枚の画像でImageNetにおいて、先行SOTA比で108%の精度向上を達成し、トップ1精度が15.6%に到達した。
• Tiny-ImageNetでは、先行SOTA比で66%の向上を達成し、より複雑な小規模データセットでも優れた一般化性能を示した。
• CIFAR-100では、先行SOTA比で37%の性能向上を達成し、複数のベンチマークにわたる有効性を確認した。
• メンバーシップ推定攻撃に対して高い耐性を示し、蒸留データで訓練されたモデルは、複数の攻撃タイプにおいてAUCが低く（例：0.53）、プライバシー保護の観点から強力であることが示された。
• アブレーションスタディの結果、暗黙的勾配とヘッセ逆行列ステップ（nH−1 > 0）の両方を用いることで精度が著しく向上し、最適な性能はninner = 20およびnH−1 = 20で達成された。
• トレーニング中にバックプロパゲーションをサブサンプリングすることで、大規模データセットに対してもメモリフットプリントを増加させることなく、効率的なスケーリングが可能となった。