[論文レビュー] Hyper-Representations as Generative Models: Sampling Unseen Neural Network Weights

Konstantin Schürholt, B. A. Knyazev+2 more|arXiv (Cornell University)|Sep 29, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、ニューラルネットワーク重みの集団に対して自己教師付きオートエンコーダーを用いて学習されたハイパーレプレゼンテーションを用いて、1回のフォワードパスで高性能で多様なニューラルネットワーク重みを生成する、新しい生成フレームワークを提案する。レイヤーごとの損失正規化とトポロジーに配慮したサンプリング戦略を導入することで、複数の画像データセットにおいて初期化、アンサンブルサンプリング、およびトランスファーラーニングの面で、ベースラインを上回るモデルを生成する。

ABSTRACT

Learning representations of neural network weights given a model zoo is an emerging and challenging area with many potential applications from model inspection, to neural architecture search or knowledge distillation. Recently, an autoencoder trained on a model zoo was able to learn a hyper-representation, which captures intrinsic and extrinsic properties of the models in the zoo. In this work, we extend hyper-representations for generative use to sample new model weights. We propose layer-wise loss normalization which we demonstrate is key to generate high-performing models and several sampling methods based on the topology of hyper-representations. The models generated using our methods are diverse, performant and capable to outperform strong baselines as evaluated on several downstream tasks: initialization, ensemble sampling and transfer learning. Our results indicate the potential of knowledge aggregation from model zoos to new models via hyper-representations thereby paving the avenue for novel research directions.

研究の動機と目的

• トレーニングデータやラベルにアクセスせずにモデルズーから新しい高性能なニューラルネットワーク重みを生成することを可能にすること。
• ハイパーレプレゼンテーションから機能的なモデルを生成する課題に取り組み、再構築品質と一般化性能を向上させること。
• ハイパーレプレゼンテーション空間の幾何学的・トポロジカル構造を活用した多様で効果的な重み生成のためのサンプリング手法を開発すること。
• ハイパーレプレゼンテーションが、下流タスクにわたって一般化可能なニューラルネットワーク重みの生成モデルとして機能できることを示すこと。
• 再トレーニングなしに、未学習のアーキテクチャや潜在因子に基づいた条件付き重み生成を可能にすること。

提案手法

• モデルズーから抽出した平坦化された重みベクトルに対して自己教師付きオートエンコーダーを学習させ、マルチヘッド自己注意機構を用いて低次元のハイパーレプレゼンテーションを学習する。
• 訓練の安定化と復元された重みの品質向上を目的として、再構築損失にレイヤーごとの損失正規化を導入する。
• 順序付けられたニューロン表現をモデル化するため、可学習トークン埋め込みと位置エンコーディングを備えた対称的なエンコーダ-デコーダアーキテクチャを採用する。
• 潜在空間における分離性とロバスト性を向上させるために、MSEと対照的損失を組み合わせたマルチオブジェクティブ損失を適用する。
• ハイパーレプレゼンテーション空間のトポロジーに基づいたサンプリング戦略を設計し、1回のフォワードパスで多様で高性能な重み生成を実現する。
• 学習済みのハイパーレプレゼンテーション空間内で補間または投影することで、潜在因子や未学習のアーキテクチャに条件付けたサンプリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 モデルズーで学習されたハイパーレプレゼンテーションが、新しい機能的なニューラルネットワーク重みをサンプリングするための生成モデルとして効果的に拡張可能か？
• RQ2 レイヤーごとの損失正規化は、標準的な再構築損失と比較して、生成されたモデルの品質と性能にどのように寄与するか？
• RQ3 ハイパーレプレゼンテーション空間におけるトポロジーに配慮したサンプリングは、異なる下流タスクにおいて、多様で高性能なモデルをどの程度生成可能か？
• RQ4 提案手法は、初期化、アンサンブルサンプリング、トランスファーラーニングにおいて、ランダム初期化およびベースライン手法を上回るモデルを生成可能か？
• RQ5 ハイパーレプレゼンテーションは、再トレーニングなしに未学習のアーキテクチャに対して重みを生成可能か？また、その条件付き生成はどの程度効果的か？

主な発見

• レイヤーごとの損失正規化は、復元された重みの品質を顕著に向上させ、下流タスクで良好に動作する機能的なモデルの生成を可能にする。
• 提案されたサンプリング手法により、ランダム初期化やベースラインのハイパーレプレゼンテーション手法を上回る高精度な多様なモデル群が生成された。
• 生成されたモデルは、初期化、アンサンブルサンプリング、トランスファーラーニングの面で強いベースラインを上回り、4つの画像データセットにわたる性能向上が確認された。
• 未学習のアーキテクチャに対しても、サンプリングされたモデルは微調整およびトランスファーラーニングの過程でより速く学習し、統計的に有意な性能向上を達成した。
• ハイパーレプレゼンテーションの再トレーニングなしに、潜在因子や未学習のアーキテクチャに条件付けた重み生成が可能であり、一般化性と柔軟性を示した。
• 本手法は1回のフォワードパスで高い性能を達成でき、モデル生成および知識 distillation における実用的導入のための効率的でスケーラブルなアプローチを実現した。