[論文レビュー] Model Zoos: A Dataset of Diverse Populations of Neural Network Models

Konstantin Schürholt, Diyar Taskiran+3 more|arXiv (Cornell University)|Sep 29, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

本論文は、8つの画像データセットで訓練された27の多様なモデルズーライのニューラルネットワークモデル50,360個からなる大規模かつ体系的に整備されたデータセットを紹介する。ハイパーパrameterのバリエーションが異なる。このデータセットは、モデル分析、学習ダイナミクス、表現学習、重みの生成的モデリングに関する研究を可能にし、ベンチマークとスパース化されたモデルの対（twins）を含むことで、より高い有用性と再現可能性を実現する。

ABSTRACT

In the last years, neural networks (NN) have evolved from laboratory environments to the state-of-the-art for many real-world problems. It was shown that NN models (i.e., their weights and biases) evolve on unique trajectories in weight space during training. Following, a population of such neural network models (referred to as model zoo) would form structures in weight space. We think that the geometry, curvature and smoothness of these structures contain information about the state of training and can reveal latent properties of individual models. With such model zoos, one could investigate novel approaches for (i) model analysis, (ii) discover unknown learning dynamics, (iii) learn rich representations of such populations, or (iv) exploit the model zoos for generative modelling of NN weights and biases. Unfortunately, the lack of standardized model zoos and available benchmarks significantly increases the friction for further research about populations of NNs. With this work, we publish a novel dataset of model zoos containing systematically generated and diverse populations of NN models for further research. In total the proposed model zoo dataset is based on eight image datasets, consists of 27 model zoos trained with varying hyperparameter combinations and includes 50'360 unique NN models as well as their sparsified twins, resulting in over 3'844'360 collected model states. Additionally, to the model zoo data we provide an in-depth analysis of the zoos and provide benchmarks for multiple downstream tasks. The dataset can be found at www.modelzoos.cc.

研究の動機と目的

• 大規模かつ標準化されたデータセットが不足しているため、神経ネットワークモデルの集団（モデルズーライ）の研究が再現可能でないという課題に対処する。
• 統一的かつ体系的に生成されたデータセットを提供することで、ハイパーパrameterの変動を制御し、包括的なメタデータを備えることで、研究の煩わしさを軽減する。
• モデル分析、学習ダイナミクスの推論、表現学習、ニューラルネットワーク重みの生成的モデリングに関する新たな研究を可能にする。
• 共通の公開データセットを用いて、複数の下流タスクにおける手法のベンチマーク化と比較を可能にする。
• モデル集団全体における重み空間の構造的性質（例：曲率、滑らかさ、一般化のパターン）の研究を促進する。

提案手法

• 2つのCNNアーキテクチャを用い、8つの標準的な画像分類データセットで27のモデルズーライを体系的に訓練し、多様なハイパーパrameterの組み合わせを用いる。
• 50,360個のユニークなニューラルネットワークモデルに加え、それらのスパース化された対（twins）を収集・保存し、合計で380万以上のモデル状態を取得する。
• 各モデルに、トレーニングのハイパーパラメータ、精度、一般化ギャップ、その他のモデル特性を含む包括的なメタデータを埋め込む。
• 学習率、重み減衰、最適化手法などの制御可能な生成要因を設計することで、モデル集団の挙動を構造的に分析可能にする。
• モデル特性予測、学習ダイナミクス推論、表現学習、モデル生成の4つの主要なユースケースのための標準化されたベンチマークを提供する。
• モデル集団の表現を学習・評価することで、トランスファーラーニングやモデル生成などの下流タスクを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパラメータの変動を制御した条件下で、ニューラルネットワークモデルの集団は重み空間においてどのように構造的で滑らかな軌道を形成するか？
• RQ2 モデルズーライは、トレーニング軌道全体を通じて、一般化の傾向や過学習のパターンといった潜在的な学習ダイナミクスをどの程度明らかにできるか？
• RQ3 モデル集団の学習済み表現は、生の重みや統計量に比べて、精度や耐性といったモデル特性の予測をどの程度改善できるか？
• RQ4 モデルズーライは、制御可能な特性を持つ新しい高パフォーマンスのニューラルネットワーク重みの生成にどの程度有効か？
• RQ5 集団レベルの分析において、密なモデルとそのスパース化された対（twins）との間には、どのような構造的・機能的関係があるか？

主な発見

• 27のモデルズーライにまたがる50,360個のユニークなニューラルネットワークモデルが収集され、スパース化された対を含め、合計で380万以上のモデル状態が取得された。
• モデルズーライは、ハイパーパラメータの変動に応じて一貫した幾何的パターンを示す、構造的で滑らかな重み空間内の軌道を示している。
• モデル集団上で学習した表現を用いることで、モデル特性予測タスクのパフォーマンスが向上し、生の重みや統計量に基づく手法を上回った。
• スパース化されたモデルの対（twins）は、重みの大きさ分布やパフォーマンスのトレードオフに関する一貫したパターンを示しており、プルーニング効果の集団レベルでの分析を支援する。
• このデータセットは、早期停止、ハイパーパラメータ探索、トランスファーラーニングのためのポピュレーションベースのアプローチによる手法の開発とベンチマーク化を支援する。
• 標準化されたベンチマークの提供により、モデル分析、表現学習、生成的モデリングのタスクにおいて、手法の直接比較と再現性が可能になった。