[論文レビュー] Classifying the classifier: dissecting the weight space of neural networks

Gabriel Eilertsen, Daniel Jönsson+3 more|arXiv (Cornell University)|Feb 13, 2020

Machine Learning and Data Classification参考文献 41被引用数 6

ひとこと要約

本稿では、学習済みの深層ニューラルネットワークの高次元表現としてのニューラルウェイトスペース（NWS）を導入し、多様なハイパーパrameterを有する16KのCNNを用いて、最適化手法、初期化、データセットなどの学習要因が重みに与える影響を調査する。小さな重みサブセット上でメタ分類器を訓練することで、ハイパーパrameterが重み空間に検出可能で局所的な痕跡を残していることが明らかになった。特に初期化と最適化手法が顕著で、重みから学習設定を推定可能であり、320Kのスナップショットを含むNWSデータセットを公開した。

ABSTRACT

This paper presents an empirical study on the weights of neural networks, where we interpret each model as a point in a high-dimensional space -- the neural weight space. To explore the complex structure of this space, we sample from a diverse selection of training variations (dataset, optimization procedure, architecture, etc.) of neural network classifiers, and train a large number of models to represent the weight space. Then, we use a machine learning approach for analyzing and extracting information from this space. Most centrally, we train a number of novel deep meta-classifiers with the objective of classifying different properties of the training setup by identifying their footprints in the weight space. Thus, the meta-classifiers probe for patterns induced by hyper-parameters, so that we can quantify how much, where, and when these are encoded through the optimization process. This provides a novel and complementary view for explainable AI, and we show how meta-classifiers can reveal a great deal of information about the training setup and optimization, by only considering a small subset of randomly selected consecutive weights. To promote further research on the weight space, we release the neural weight space (NWS) dataset -- a collection of 320K weight snapshots from 16K individually trained deep neural networks.

研究の動機と目的

• 学習済みの深層ニューラルネットワークの高次元表現としてのニューラルウェイトスペース（NWS）の構造を調査すること。
• 最適化手法、初期化、データセットなどのハイパーパrameterが最終的な重み構成に与える影響を調査すること。
• 重みパターンから学習設定を推定するメタ分類フレームワークを開発し、学習履歴の逆エンジニアリングを可能にすること。
• 16Kの訓練済みCNNから得た320Kの重みスナップショットを含む大規模かつ公開可能なデータセットをリリースし、今後のXAIおよびメタラーニング研究を支援すること。
• 局所的な重みサブセットに十分な情報が含まれており、最適化が訓練選択をどこにどのようにエンコードしているかを明らかにすること。

提案手法

• データセット、最適化手法、初期化、オーグメンテーション、フィルターサイズなどのハイパーパrameterの異なる組み合わせを用いて16,000体の多様なCNNを訓練し、NWSをサンプリングすること。
• 各訓練済みモデルを高次元重み空間上の点として表現し、複数の訓練ステップで重みスナップショットを収集すること。
• 重みベクトルからハイパーパrameterを予測するためのディープメタ分類器（DMC）を訓練し、重みから学習設定への逆写像を可能にすること。
• 小さな連続的な重みサブセットを分析する局所的メタ分類器を導入し、ハイパーパラメータがネットワーク内のどこにエンコードされているかを定量化すること。
• クラスアクティビティマップとモデルの深さ・訓練進行度にわたる性能評価を用いて、メタ分類器の精度分布を可視化すること。
• 研究の再現と拡張を可能にするために、NWSデータセットと訓練スクリプトをリリースすること。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの重みに、学習設定に関するどの程度の情報がエンコードされているか。
• RQ2 異なるハイパーパラメータのための最も特徴的な重みパターンは、ネットワークアーキテクチャのどこに位置しているか。
• RQ3 最適化プロセスは重み空間にどのように影響を与え、これらのパターンは訓練のどの段階で出現するか。
• RQ4 連続する小さな重みサブセットが、最適化手法や初期化といった主要なハイパーパラメータの識別に十分な情報を含むか。
• RQ5 重みのみで訓練されたメタ分類器は、多様なアーキテクチャを対象として、異なる訓練設定をどの程度区別できるか。

主な発見

• 初期化が重み空間において最も特徴的な要因であることが特定され、メタ分類器は重みパターンから初期化を高い精度で同定できた。
• 最適化手法は強く局所的な影響を持ち、特に畳み込み層のバイアス重みに顕著で、モデル構成の区別に大きく寄与した。
• 入力層および出力層に近い重みは、より深い隠れ層と比較して初期化からの逸脱が早く、ここに最適化の影響が早期かつ強く現れていることを示した。
• 訓練に使用されたデータセットは、学習率スケジュールや最適化手法の種類といった最適化手法と比較して、重み空間に測定可能ではあるがやや明確でない痕跡を残した。
• 局所的メタ分類器は小さな重みサブセットでも高い性能を示し、多くの訓練設定の情報が局所的にエンコードされており、少量のデータで抽出可能であることを示した。
• 本研究では、フィルターサイズと活性化関数も、特に初期および中間層に検出可能なインプリントを残していることが明らかになった。性能はネットワークの深さによって変動した。