[論文レビュー] Hyper-Representations: Self-Supervised Representation Learning on Neural Network Weights for Model Characteristic Prediction

Konstantin Schürholt, Dimche Kostadinov+1 more|arXiv (Cornell University)|Oct 28, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、ニューラルネットワーク集団の重みから直接意味のある、タスクに依存しない表現を学習する自己教師あり表現学習フレームワーク「ハイパー表現（Hyper-Representations）」を提案する。ドメイン固有のデータ拡張（構造を保つ並べ替え、消去、ノイズ付加など）を適用するとともに、変更を加えたトランスフォーマー・アーキテクチャを用いることで、ハイパーパramーターやテスト精度、一般化ギャップといったモデル特性を予測するという、最先端の性能を達成した。また、分布外設定においても強力なゼロショット転送性を示した。

ABSTRACT

Datasets to NeurIPS 2021 accepted paper "Self-Supervised Representation Learning on Neural Network Weights for Model Characteristic Prediction". Datasets are pytorch files containing a dictionary with training, validation and test sets. Train, validation and test sets are custom dataset classes which inherit from the standard torch dataset class. Corresponding code an be found at https://github.com/HSG-AIML/NeurIPS_2021-Weight_Space_Learning. Datasets 41, 42, 43 and 44 are our dataset format wrapped around the zoos from Unterthiner et al, 2020 (https://github.com/google-research/google-research/tree/master/dnn_predict_accuracy)<br> <br> Abstract:<br> Self-Supervised Learning (SSL) has been shown to learn useful and information-preserving representations. Neural Networks (NNs) are widely applied, yet their weight space is still not fully understood. Therefore, we propose to use SSL to learn neural representations of the weights of populations of NNs. To that end, we introduce domain specific data augmentations and an adapted attention architecture. Our empirical evaluation demonstrates that self-supervised representation learning in this domain is able to recover diverse NN model characteristics. Further, we show that the proposed learned representations outperform prior work for predicting hyper-parameters, test accuracy, and generalization gap as well as transfer to out-of-distribution settings.

研究の動機と目的

• ニューラルネットワーク集団の重み空間から、タスクに依存せず情報が保持された表現を学習すること。
• 精度や一般化性能といったモデル特性と重み空間の異なる領域との関係について、理解が不足している点を解消すること。
• 手作業で特徴を設計する従来の教師あり手法に代わり、自己教師あり学習によりエンドツーエンドで表現を学習すること。
• 特徴量予測のためのゼロショット転送を、分布外のモデルズーに可能にする。
• 重み空間における自己教師あり学習が、ニューラルネットワークの重み空間に隠された意味のある構造を明らかにすることを検証すること。

提案手法

• 訓練済みニューラルネットワークの重みに直接適用する、新しい自己教師あり学習フレームワークを提案し、重みベクトルの『モデルズー』を構築する。
• 重み空間のインダクティブバイアスを保つために、ドメイン固有のデータ拡張を3つ導入：重みの構造を保つ並べ替え、消去、ノイズ注入。
• 重み表現を処理・符号化できるように、トランスフォーマー・アーキテクチャを変更し、注目メカニズムを用いた特徴学習を可能にする。
• 重みベクトルの拡張された視覚からハイパー表現を学ぶために、対照的および再構成ベースの事前学習目的を採用する。
• 下流タスク（例：ハイパーパramーターや精度、一般化ギャップの予測）において線形プローブを用い、学習済み表現の有効性を評価する。
• 再構成と対照的学習の目的を組み合わせることで、表現品質と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの重みに対する自己教師あり表現学習は、ハイパーパramーターやテスト精度といった意味のある潜在的モデル特性を回復できるか？
• RQ2 特に構造を保つ並べ替えを含むドメイン固有のデータ拡張は、学習済み重み表現の品質にどのように影響するか？
• RQ3 提案手法のハイパーレプレゼンテーションは、分布外のモデルズーに対しても特性予測に一般化可能か？
• RQ4 重みからモデル特性を予測するという点で、提案手法は従来の最先端手法を上回っているか？
• RQ5 重み空間の多様性（たとえば、異なる乱数シードからの変動）は、モデル特性の回復可能性にどのような役割を果たすか？

主な発見

• 本手法は、MNIST-HYPズーにおいて、E c+ D手法を用いてテスト精度予測で最先端の性能を達成し、R²スコアが89.4を記録。Wおよびs(W)ベースラインを上回った。
• 一般化ギャップ予測においては、MNIST-HYPズーでR²スコアが32.9を達成し、ベースラインのW法（15.3）およびs(W)（24.8）を大きく上回った。
• MNIST-SEEDズーでは、テスト精度予測でR²が87.2を達成し、分布外設定でも優れた性能を示した。
• すべてのタスクとデータセットで、本手法は優れたケンダールのτスコアを示し、モデル特性予測における順位付け性能の向上を示した。
• アブレーションスタディにより、モデルズーにおける乱数シードの変動がモデル特性の回復性を向上させることを確認。訓練設定の多様性の重要性が浮き彫りになった。
• 本手法は、MNIST-HYP、FASHION-HYP、SVHN-HYP、CIFAR10-HYPのすべての分布外評価において、ベースラインより高いR²およびケンダールのτスコアを示し、強力なゼロショット転送性能を示した。