[論文レビュー] Grounding Representation Similarity with Statistical Testing

Frances Ding, Jean-Stanislas Denain+1 more|arXiv (Cornell University)|Aug 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 4

ひとこと要約

本論文は、ニューラルネットワークにおける表現類似度メトリクスの評価のための統計的検定フレームワークを提案する。このフレームワークは、機能的変化への感受性と無関係なノイズに対する特異性を評価することで、メトリクスの妥当性を検証する。実験の結果、CKA や CCA といった広く使われているメトリクスは、主要なベンチマークで失敗することが判明した一方で、古典的な直交プロクラステス距離は多様な機能的挙動において一貫して優れた性能を示し、直感的選択ではなく体系的な評価の重要性が浮き彫りになった。

ABSTRACT

To understand neural network behavior, recent works quantitatively compare different networks' learned representations using canonical correlation analysis (CCA), centered kernel alignment (CKA), and other dissimilarity measures. Unfortunately, these widely used measures often disagree on fundamental observations, such as whether deep networks differing only in random initialization learn similar representations. These disagreements raise the question: which, if any, of these dissimilarity measures should we believe? We provide a framework to ground this question through a concrete test: measures should have sensitivity to changes that affect functional behavior, and specificity against changes that do not. We quantify this through a variety of functional behaviors including probing accuracy and robustness to distribution shift, and examine changes such as varying random initialization and deleting principal components. We find that current metrics exhibit different weaknesses, note that a classical baseline performs surprisingly well, and highlight settings where all metrics appear to fail, thus providing a challenge set for further improvement.

研究の動機と目的

• CKA や CCA といった表現類似度メトリクスの間で、基本的な比較において合意が得られないという問題に対処すること。
• これらのメトリクスを評価するための形式的基準を確立すること——機能的変化に感受的であること、および無関係な変化（たとえばランダム初期化）に対して特異的であること。
• プローブ精度や分布外（OOD）耐性といった機能的挙動を用いて、真のメトリクス性能を基準とする包括的なベンチマークを構築すること。
• すべてのメトリクスが偶然より優れた性能を示さないという系の失敗事例を同定し、将来的なメトリクス開発のためのチャレンジセットを提供すること。
• 新規手法の採用傾向に起因するレシエンシーバイアス（新しいうちに評価が高まる傾向）を是正し、直感的選択ではなく体系的評価を推奨すること。

提案手法

• 表現類似度を分類問題として定式化する：2つの表現が機能的に類似しているか、異なるかを判断する。
• 統計的検定の原則を応用する：メトリクスはモデルの挙動に影響を与える変化に感受的でなければならず、ランダム初期化のような無関係な変化に対しては特異的でなければならない。
• ランダムシード、層の深さ、低ランク近似の変動を考慮した 30,480 例のベンチマークを構築する。
• 機能的挙動をプローブ精度（文法的情報）および分布外（OOD）性能によって測定する。
• 測定された機能的差異との順位相関をスコアとして用い、インディストリビューション表現から OOD 挙動を予測する。
• 5 つのメトリクス（CKA、CCA、PWCCA、直交プロクラステス、ベクトル空間アライメント）を評価し、主成分の削除やランダム初期化に対する感受性に特に注目する。

実験結果

リサーチクエスチョン

• RQ1 CKA や CCA といった広く使われている表現類似度メトリクスは、機能的挙動に影響を与える変化を信頼性を持って検出できるか？
• RQ2 これらのメトリクスは、ランダム重み初期化のような無関係な変化を十分に無視できるほど特異的か？
• RQ3 インディストリビューション表現のみを用いて、表現類似度メトリクスは分布外性能を予測できるか？
• RQ4 すべてのメトリクスが偶然より優れた性能を示さないという体系的失敗事例は存在するか？
• RQ5 古典的メトリクスの一つである直交プロクラステス距離は、根拠のあるベンチマークにおいて、現代の代替手法を上回る性能を示すか？

主な発見

• CCA は特異性に欠ける：ランダム初期化ノイズによる誤った類似性を検出しており、すなわち遠く離れた層ですら類似していると誤認する。
• CKA は感受性に欠ける：上位 10 個の主成分以外では、意味のある変化を検出できない。中程度の差異も見逃す。
• 直交プロクラステス距離は、プローブ精度および OOD 挙動ベンチマークの両方で一貫して優れた性能を示し、CKA や CCA を上回る。
• すべてのメトリクスが偶然より優れた OOD 挙動予測をできないというチャレンジセットが同定され、現在のメトリクスの能力に深刻なギャップがあることが浮き彫りになった。
• 古典的メトリクスの一つである直交プロクラステス距離は、驚くべきほど強いベースラインである。これは、新規メトリクスが常に従来の手法を上回るとは限らない可能性を示唆している。
• 表現類似度メトリクスは、信号対雑音比が低い状況（例：数値的ストレステスト）では、しばしば機能的差異と相関しない。