[論文レビュー] Dataset Meta-Learning from Kernel Ridge-Regression

Timothy Nguyen, Zhourong Chen+1 more|arXiv (Cornell University)|Oct 30, 2020

Advanced Neural Network Applications参考文献 36被引用数 6

ひとこと要約

この論文は、カーネルリッジ回帰（KRR）近似を用いて、コンパクトで破損している、または効率化されたデータセットを生成するメタラーニングアルゴリズムであるカーネルインダクティングポイント（KIP）を紹介している。MNISTおよびCIFAR-10で、最大100倍少ない画像で最先端の性能を達成しており、データセットの圧縮を1〜2桁のスケールで実現し、転移可能でプライバシー保護型のデータセットを提供する。これは非ラージなニューラルネットワークの環境でも有効である。

ABSTRACT

One of the most fundamental aspects of any machine learning algorithm is the training data used by the algorithm. We introduce the novel concept of $ε$-approximation of datasets, obtaining datasets which are much smaller than or are significant corruptions of the original training data while maintaining similar model performance. We introduce a meta-learning algorithm called Kernel Inducing Points (KIP) for obtaining such remarkable datasets, inspired by the recent developments in the correspondence between infinitely-wide neural networks and kernel ridge-regression (KRR). For KRR tasks, we demonstrate that KIP can compress datasets by one or two orders of magnitude, significantly improving previous dataset distillation and subset selection methods while obtaining state of the art results for MNIST and CIFAR-10 classification. Furthermore, our KIP-learned datasets are transferable to the training of finite-width neural networks even beyond the lazy-training regime, which leads to state of the art results for neural network dataset distillation with potential applications to privacy-preservation.

研究の動機と目的

• モデルではなくデータセットを最適化することで、機械学習におけるスケーラビリティとプライバシーの課題に対処すること。
• サイズの縮小や破損に対しても高いモデル性能を維持できる代替データセットの作成手法を開発すること。
• データセットの蒸留によってメモリとレイテンシを削減し、効率的な推論とハイパーパramータ探索を可能にすること。
• カーネル学習およびニューラルネットワーク学習におけるデータセット近似の理論的・実用的限界を調査すること。
• 自然データを上回る性能を示す、転送可能でプライバシー保護型のデータセットを構築すること。

提案手法

• データセットのε近似の概念を提案し、データセットの圧縮と破損を、モデル性能の維持と同等のものとして形式化する。
• KRRの完全なデータセットの解を近似するための小さな合成データポイントの集合を学習するメタラーニングアルゴリズムとして、カーネルインダクティングポイント（KIP）を導入する。
• 無限に広いニューラルネットワークとKRRとの対応関係を用いて、データセット生成の微分可能な最適化目的関数を導出する。
• 最適なラベルを閉形式で計算できる変種であるラベルソルブ（LS）を導入し、特徴量とラベルの最適化を別々に可能にする。
• トレーニング中に画像に最大90％のノイズを付加することで、耐性とプライバシーのトレードオフを評価する。
• 2段階の最適化を採用：まずKIPで特徴量を学習し、次にLSでラベルを最適化する。エンドツーエンドのトレーニングにより、統合的な最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 完全なデータセットの一般化性能をε誤差以内に近似できる、小さな合成データセットを学習できるか？
• RQ2 KIPは、カーネルリッジ回帰とニューラルネットワーク学習の両方において、データセットの圧縮にどの程度効果的か？
• RQ3 KIPが生成するデータセットは、高いピクセル破損率下でもどの程度の耐性を示し、高い精度を維持できるか？
• RQ4 KIPが生成するデータセットは、有限幅のニューラルネットワークに転送可能か。特にラージトレーニングの範囲外でも有効か？
• RQ5 KIPは、既存のデータセット蒸留およびサブセット選択手法と比較して、どの程度のサンプル効率と性能を示すか？

主な発見

• KIPは、1,000枚の画像のみでMNISTおよびCIFAR-10で最先端の性能を達成しており、同じサイズの自然データや一部のより大きな自然データセットを上回っている。
• MNISTで90％のピクセル破損を加えた1,000枚のKIP生成画像を用いることで、交差エントロピー損失で90.9％のテスト精度を達成し、90％破損の自然データ1,000枚（75.0％精度）を上回っている。
• CIFAR-10では、1,000枚のKIP画像に90％の破損を加えた場合、45.0％のテスト精度を達成し、自然データ1,000枚（35.4％）および破損した自然データ1,000枚（27.2％）を上回っている。
• 10,000枚のKIP画像を用いることで、MNISTで97.9％、CIFAR-10で54.0％の精度を達成し、同じサイズの自然データセットを上回っている。
• KIPが生成するデータセットは、有限幅のニューラルネットワークへの転送が可能で、特に非ラージトレーニングの範囲でも、データセット蒸留分野で最先端の結果を達成している。
• この手法は強力なプライバシーのトレードオフを実現する：90％破損したKIP画像でも高い精度を維持しており、プライバシー保護型データ公開の用途に適していると考えられる。