[論文レビュー] Flexible Dataset Distillation: Learn Labels Instead of Images

Ondrej Bohdal, Yongxin Yang+1 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Neural Network Applications参考文献 38被引用数 18

ひとこと要約

本稿では、合成画像の代わりに実画像に合成ラベルを生成する、ラベル蒸留（label distillation）と呼ばれる新しいデータセット蒸留手法を提案する。これにより、より柔軟で、転送可能で、性能の高い蒸留データセットの作成が可能になる。1次元の凸最適化に基づくメタラーニングアプローチを用いることで、より高い性能と、市販の最適化アルゴリズムや多様なアーキテクチャとの互換性を実現する。また、英文字で学習することで日本語の漢字を認識するような、異種データセット間の学習も可能になる。

ABSTRACT

We study the problem of dataset distillation - creating a small set of synthetic examples capable of training a good model. In particular, we study the problem of label distillation - creating synthetic labels for a small set of real images, and show it to be more effective than the prior image-based approach to dataset distillation. Methodologically, we introduce a more robust and flexible meta-learning algorithm for distillation, as well as an effective first-order strategy based on convex optimization layers. Distilling labels with our new algorithm leads to improved results over prior image-based distillation. More importantly, it leads to clear improvements in flexibility of the distilled dataset in terms of compatibility with off-the-shelf optimizers and diverse neural architectures. Interestingly, label distillation can also be applied across datasets, for example enabling learning Japanese character recognition by training only on synthetically labeled English letters.

研究の動機と目的

• 特定の最適化手法、アーキテクチャ、学習手順に縛られた従来の画像ベースのデータセット蒸留手法の柔軟性の欠如に対処すること。
• 異なるニューラルネットワークアーキテクチャや最適化アルゴリズム間での蒸留データセットの一般化性能と転送可能性を向上させること。
• 英文字の合成ラベルから日本語の漢字認識を学習するなど、新しい異種データセット間の知識転送を可能にすること。
• 高次勾配を回避し、最適化の分散を低減することで、より効率的かつスケーラブルな蒸留アルゴリズムを開発すること。
• 標準の学習パイプラインで使用可能な汎用的な蒸留データセットを構築し、データセット蒸留の実用的導入を前進させること。

提案手法

• 合成画像の代わりに実画像に合成ラベルを生成するラベル蒸留（LD）を提案。パラメータ空間の縮小と自然画像の統計を活用することで、より効率的になる。
• 高コストな2次勾配を回避するため、凸最適化層に基づく1次元メタラーニングアルゴリズムを導入。これにより、学習の安定性と効率性が向上する。
• メタ勾配の分散を低減した擬似勾配法を採用。これにより、蒸留過程での最適化がより安定かつ効果的になる。
• 収束時に複数ステップの訓練とリセット戦略を適用。これにより、蒸留ラベルの一般化性能と転送可能性が向上する。
• Adamなどの標準的な最適化手法を用いて、ベースモデルを蒸留ラベルで訓練。市販の学習環境との互換性が確認される。
• 内部および異種データセットの両方のシナリオに本手法を適用。例えば、英文字のデータセットで学習し、日本語の漢字を分類するようにする。

実験結果

リサーチクエスチョン

• RQ1 実画像に合成ラベルを生成することで、合成画像を用いる従来手法よりも性能が向上し、柔軟性と転送可能性が向上するか？
• RQ2 1次元で凸最適化に基づくメタラーニング手法は、2次勾配を用いる手法に比べ、ラベル蒸留においてより優れた性能と安定性を達成できるか？
• RQ3 あるデータセット（例：英文字）で学習した蒸留ラベルが、不連続なターゲットデータセット（例：日本語の漢字）でどれほど効果的に学習を可能にするか？
• RQ4 テスト精度と標準的な最適化手法・アーキテクチャとの互換性において、ラベル蒸留は従来の画像ベースの蒸留手法に比べてどのように優れているか？
• RQ5 再訓練を伴わずに、異なるニューラルネットワークアーキテクチャ間で蒸留ラベルを効果的に再利用できるか？

主な発見

• ラベル蒸留は、MNISTおよびEMNISTデータセットで確認されたように、従来の画像ベースの蒸留手法よりも高いテスト精度を達成した。
• 従来の手法とは異なり、Adamのような市販の最適化手法と互換性がある。カスタムの学習率スケジュールや訪問順序の必要がない。
• 蒸留ラベルの転送可能性は顕著に向上。AlexNetで学習したラベルを用いたモデルは、LeNet や ResNet-18 に対しても良好に一般化され、ベースライン手法を上回った。
• 異種データセット間のラベル蒸留により、英文字の合成ラベルのみを用いて日本語の漢字認識を学習可能であることが示され、ドメイン間の知識転送の可能性が実証された。
• 擬似勾配法により、2次勾配法に比べてメタ勾配の分散が最大50％まで低減され、より安定した学習と良好な収束が達成された。
• 同じタスクにおいて、1次元手法は2次勾配バージョンの63％に比べ、84％のラベル回復精度を達成した。これは、より優れたラベル学習能力を示している。