[論文レビュー] Similarity of Neural Networks with Gradients

Shuai Tang, Wesley J. Maddox+3 more|arXiv (Cornell University)|Mar 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 12

ひとこと要約

本論文は、特徴ベクトルと勾配ベクトルをカーネルベースの表現に統合する新しい類似性インデックスを提案する。スケッチ技術を活用することでスケーラビリティとデータセットサイズの差異に対する不変性を実現する。この手法は、異なるデータセットで独立して訓練されたモデル同士を比較する際、最先端の性能を達成する。実験的評価では、中心化カーネル整合性（CKA）が正規化バイアス類似性（NBS）を上回る。

ABSTRACT

A suitable similarity index for comparing learnt neural networks plays an important role in understanding the behaviour of the highly-nonlinear functions, and can provide insights on further theoretical analysis and empirical studies. We define two key steps when comparing models: firstly, the representation abstracted from the learnt model, where we propose to leverage both feature vectors and gradient ones (which are largely ignored in prior work) into designing the representation of a neural network. Secondly, we define the employed similarity index which gives desired invariance properties, and we facilitate the chosen ones with sketching techniques for comparing various datasets efficiently. Empirically, we show that the proposed approach provides a state-of-the-art method for computing similarity of neural networks that are trained independently on different datasets and the tasks defined by the datasets.

研究の動機と目的

• 異なるデータセットで訓練されたニューラルネットワークを比較するための頑健な類似性インデックスの開発。
• 既存の類似性インデックスがデータセットサイズの違いに対処できないという制限を解消すること。
• より豊かなモデル特徴付けを実現するため、損失のランドスケープからの特徴表現と勾配情報の両方を統合すること。
• スペクトル構造を保持するスケッチ技術を用いて、効率的かつスケーラブルな比較を可能にすること。
• カーネル平均埋め込みノルムを通じたモデル類似性の解釈可能性に関する実験的および理論的知見の提供。

提案手法

• 本手法は、ニューラルネットワークの隠れ層からの特徴ベクトルと勾配ベクトルを用いて、統合されたカーネル表現を構築する。
• 予測分布を表現するためのカーネル平均埋め込みを適用し、そのノルムをモデル-データセット整合性の代理指標として用いる。
• 高次元のカーネル行列を低次元に投影するためにスケッチ技術を適用し、計算効率とサンプルサイズの変動に対する不変性を実現する。
• スケッチされた表現上でCKAまたはNBSを用いて類似性インデックスを計算し、実験で優れた性能を示したためCKAを推奨する。
• 異なるデータセットで訓練されたモデル間の比較を可能にし、転移性や適応の難易度の分析も可能にする。
• バッチ並列勾配計算を用いた実装により、従来の手法と比較して時間的・空間的計算量を削減する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、異なるデータセットで訓練されたニューラルネットワークを効果的に比較できる類似性インデックスを設計できるか？
• RQ2 勾配ベクトルは、モデル比較におけるタスク固有の情報をどのように捉えているか？
• RQ3 スケッチ技術は、サイズが異なるデータセット間でニューラルネットワーク表現のスケーラブルかつ不変な比較を可能にするか？
• RQ4 カーネル平均埋め込みのノルム ||μp|| は、モデルとデータセットの類似性をどのように反映しているか？
• RQ5 CKAとNBSのどちらの類似性インデックスが、モデルとデータセット間の意味のある関係をよりよく捉えているか？

主な発見

• 提案手法は、異なるデータセットで独立して訓練されたニューラルネットワーク間の類似性測定において、最先端の性能を達成する。
• カーネル表現における特徴ベクトルと勾配ベクトルの統合により、特徴のみを用いた場合よりも情報量の多い類似性スコアが得られる。
• スケッチ技術により、計算の効率化とデータセットサイズの変動に対する不変性が実現され、スケーラビリティが向上する。
• カーネル平均埋め込みのノルム ||μp|| は、CIFAR-10とCIFAR-100のような類似したデータセットで訓練されたモデルが、より少ない適応を要するという直感的な概念を的確に捉えている。
• 実験ではCKAがNBSを上回る性能を示し、特にデータセットサイズが異なる場合に真のモデル類似性をよりよく反映している。
• 本手法は、SVHNで訓練されたモデルがCIFAR-10よりCIFAR-100とより高い類似性を示すことが判明しており、ドメインの類似性の期待と整合している。