[論文レビュー] Similarity and Matching of Neural Network Representations

Adrián Csiszárik, Péter Kőrösi-Szabó+3 more|arXiv (Cornell University)|Oct 27, 2021

Model Reduction and Neural Networks被引用数 20

ひとこと要約

この論文では、2つのネットワークをアフィン層で接続することでニューラルネットワーク表現の類似性を評価するツールキットであるDr. Frankensteinを紹介している。同手法は、同一アーキテクチャだが異なる初期化を用いたネットワーク間の表現を、単一のアフィン層を用いて高い精度で一致させられることを示している。主な貢献は、標準的な類似性指標（例：CKA）と実際のタスク性能の間にある乖離を明らかにする機能的類似性の視点を提供することであり、高い類似性指標値が優れたステッチング性能を保証するわけではないことを示している。

ABSTRACT

We employ a toolset -- dubbed Dr. Frankenstein -- to analyse the similarity of representations in deep neural networks. With this toolset, we aim to match the activations on given layers of two trained neural networks by joining them with a stitching layer. We demonstrate that the inner representations emerging in deep convolutional neural networks with the same architecture but different initializations can be matched with a surprisingly high degree of accuracy even with a single, affine stitching layer. We choose the stitching layer from several possible classes of linear transformations and investigate their performance and properties. The task of matching representations is closely related to notions of similarity. Using this toolset, we also provide a novel viewpoint on the current line of research regarding similarity indices of neural network representations: the perspective of the performance on a task.

研究の動機と目的

• 標準的な統計的類似性測度を超えたニューラルネットワーク表現の機能的類似性を調査すること。
• 同一アーキテクチャだが異なる初期化を用いた表現が、単一のアフィンステッチング層によって機能的にマッチング可能かどうかを調査すること。
• ステッチドネットワークにおける表現的類似性指標（例：CKA）と実際のタスク性能の関係を評価すること。
• ステッチング変換の構造的性質（スパarsity、一意性、モード接続性）を分析すること。
• タスク損失に基づくステッチング層の訓練が、スパarsity制約下でも直接マッチングを上回ることを示すこと。

提案手法

• 同じ深層畳み込みニューラルネットワークを、対応する中間層間に単一のアフィン変換層を介して接続する。
• ステッチング層を、活性化同士のMSEを最小化する直接マッチング法、またはステッチドネットワークのエンドツーエンド微調整によるタスク損失に基づいて訓練する。
• ステッチング層最適化における悪い局所最適解を回避するため、最適な最小二乗初期化を適用する。
• ステッチング行列のスパarsityを誘導するためにL1正則化を適用し、その性能への影響を分析する。
• 複数のステッチング行列間を補間することで線形モード接続性を分析し、経路に沿った性能を評価する。
• 異なる初期化スキームおよびスパarsityレベルにおけるステッチング層の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 同一アーキテクチャだが異なる初期化を用いた2つのネットワークの表現が、単一のアフィンステッチング層を用いて機能的にマッチング可能か？
• RQ2 標準的な表現的類似性指標（例：CKA）は、ステッチドネットワークにおける実際のタスク性能とどの程度相関しているか？
• RQ3 ステッチング層のスパarsityが、結合ネットワークの性能にどのように影響するか？
• RQ4 同じ層に対して複数の最適なステッチング変換が、線形モード接続性によって接続可能か？
• RQ5 特にスパarsity制約下において、タスク損失に基づくステッチング層の訓練が直接マッチングを上回る性能を示すか？

主な発見

• 同一アーキテクチャだが異なる初期化を用いたネットワーク間の表現を、単一のアフィンステッチング層で接続したネットワークは、最高で97.7%の高い精度を達成する。
• 高いセンター化されたカーネル整合性（CKA）値であっても、ステッチドネットワークにおける性能が保証されるわけではない。これは、標準的な類似性指標と機能的類似性の間の乖離を示している。
• スパarsity制約下では、タスク損失に基づくステッチング層の訓練が直接マッチングを著しく上回り、90%のスパarsityでも高い精度を維持する一方、直接マッチングは急激に性能を落とす。
• 最適な最小二乗初期化は一貫して高性能なステッチング層を生成し、悪い局所最適解のリスクを低減する。
• 線形モード接続性は大多数の層で成立するが、初期層では高い個別性能にもかかわらず失敗する。これは、初期表現における複雑な最適化ダイナミクスを示唆している。
• ステッチング行列は非自明なスパarsityパターンを示し、表現間の関係は単純なニューロン対ニューロンマッピングを超えた複雑な機能的アライメントを示している。