[論文レビュー] Remember the Past: Distilling Datasets into Addressable Memories for Neural Networks

Zhiwei Deng, Olga Russakovsky|arXiv (Cornell University)|Jun 6, 2022

Domain Adaptation and Few-Shot Learning被引用数 22

ひとこと要約

この論文は、共有ベース集合（memories）を学習可能なアドレス指定で結合して訓練データを合成する、メモリベースのデータセット蒸留手法を提案する。クラス数に依存しない圧縮を可能にし、強力な継続学習性能を実現する。

ABSTRACT

We propose an algorithm that compresses the critical information of a large dataset into compact addressable memories. These memories can then be recalled to quickly re-train a neural network and recover the performance (instead of storing and re-training on the full original dataset). Building upon the dataset distillation framework, we make a key observation that a shared common representation allows for more efficient and effective distillation. Concretely, we learn a set of bases (aka ``memories'') which are shared between classes and combined through learned flexible addressing functions to generate a diverse set of training examples. This leads to several benefits: 1) the size of compressed data does not necessarily grow linearly with the number of classes; 2) an overall higher compression rate with more effective distillation is achieved; and 3) more generalized queries are allowed beyond recalling the original classes. We demonstrate state-of-the-art results on the dataset distillation task across six benchmarks, including up to 16.5% and 9.7% in retained accuracy improvement when distilling CIFAR10 and CIFAR100 respectively. We then leverage our framework to perform continual learning, achieving state-of-the-art results on four benchmarks, with 23.2% accuracy improvement on MANY. The code is released on our project webpage https://github.com/princetonvisualai/RememberThePast-DatasetDistillation.

研究の動機と目的

• 再訓練性能を維持できる小型のメモリへ大規模データセットの圧縮を動機づける。
• クラス間で共有される基底を用いたメモリアドレス指定の定式化を提案し、圧縮を改善する。
• モメンタムと長いアンロールを伴う時間を通じたバックプロパゲーション（BPTT）が最先端の蒸留結果を生み出すことを実証する。
• このフレームワークが継続学習への一般化と、離散ラベルを超える柔軟なクエリタイプへ適用可能であることを示す。

提案手法

• データセットをメモリに保存された基底の集合 M = {b1,...,bK} で表現する。
• 各クエリ y に対して、基底を線形結合して合成データ x' を作る学習可能なアドレス指定関数 A(y) を用いる。
• 以下の式で x' を定義し、y ごとに r 個のサンプルを生成する：x'^{T} = y^{T} A_i [b1;...;bK]^T
• メモリとアドレス指定を、時間を通じたバックプロパゲーション（BPTT）を用いた二重最適化で訓練する。
• 内部ループでは、モーメンタム付き SGD と長いアンロール（例: 150–200 ステップ）を実行して情報量の多い勾配を生み出す。
• 合成データ生成のための一般化された、クラスディスクリートでないクエリを許可する。）

実験結果

リサーチクエスチョン

• RQ1 クラス横断の共有メモリ表現はデータセット蒸留の圧縮率を改善できるか？
• RQ2 メモリアドレス指定定式化は蒸留のための柔軟な（非ワンホット）クエリを可能にし、再訓練性能を向上させるか？
• RQ3 BPTT の最適化選択（モーメンタム、アンロール長）は、単一ステップの勾配法と比較して蒸留にどのような影響を与えるか？
• RQ4 継続学習とメモリベースのリコール状況における手法の有効性はどの程度か？

主な発見

• 6つのデータセット蒸留ベンチマークで最先端の結果を達成、例として CIFAR10 はクラス1枚で 66.4% の回復精度。
• さまざまな予算下でも CIFAR10 で 66.4%、TinyImageNet で 34.0% を達成し、強力な圧縮性能を示す。
• 単純な“圧縮→リコール”アプローチで継続学習の利得が大きく、例えば MANY で 23.2% の保持精度向上。
• 共通のメモリ表現を介したクラス間の情報共有を示し、クラス固有のメモリよりも良い圧縮を可能にする。
• モーメンタムと長いアンロールを伴う BPTT は、これまでの勾配整合ベースラインよりも性能を大幅に向上させる。