[論文レビュー] Representation Topology Divergence: A Method for Comparing Neural Network Representations

Serguei Barannikov, Ilya Trofimov+2 more|arXiv (Cornell University)|Dec 31, 2021

Cell Image Analysis Techniques被引用数 9

ひとこと要約

本稿では、異なる埋め込み空間に存在する2つの点群の間で一対一の対応関係がある場合に、マルチスケールのトポロジー的相違度を測定することにより、ニューラルネットワーク表現を比較する新規手法である表現トポロジー分散（RTD）を提案する。RTDは、CKA、SVCCA、IMDよりも構造的差を捉える能力に優れ、モデル予測の不一致と強く相関し、クラスターやボイドなどのトポロジカル特徴に敏感である。

ABSTRACT

Comparison of data representations is a complex multi-aspect problem that has not enjoyed a complete solution yet. We propose a method for comparing two data representations. We introduce the Representation Topology Divergence (RTD), measuring the dissimilarity in multi-scale topology between two point clouds of equal size with a one-to-one correspondence between points. The data point clouds are allowed to lie in different ambient spaces. The RTD is one of the few TDA-based practical methods applicable to real machine learning datasets. Experiments show that the proposed RTD agrees with the intuitive assessment of data representation similarity and is sensitive to its topological structure. We apply RTD to gain insights on neural networks representations in computer vision and NLP domains for various problems: training dynamics analysis, data distribution shift, transfer learning, ensemble learning, disentanglement assessment.

研究の動機と目的

• 下流タスクの性能に依存せずに、原理的でトポロジカルに情報を持つニューラルネットワーク表現の比較手法の欠如を解消すること。
• 学習済み表現におけるクラスターやボイド、キャビティといった構造的差に敏感なメトリクスを開発すること。
• 実世界のビジョンおよびNLPの機械学習データセットに適用可能な、トポロジカルデータ解析（TDA）に基づく実用的でスケーラブルなアプローチを提供すること。
• 訓練動態、分布シフト、トランスファー学習、分離性評価といった多様なシナリオにおいてRTDを評価すること。

提案手法

• 本手法は、一対一の対応関係を持つ2つの点群 P と P̃ から R-クロス・バーコードを構築し、複数スケールにおける共通のトポロジカル特徴を表現する。
• 恒常的ホモロジーを用いて、距離閾値の範囲にわたるトポロジカル特徴（例えば、連結成分、ループ、ボイド）の変化を追跡する。
• 表現トポロジー分散（RTD）スコアは、R-クロス・バーコードのベクトル間の差の L2 範囲として計算され、トポロジカルな相違度を定量化する。
• 本手法は線形変換に対して不変であり、CCAベースの手法とは異なり、非線形なトポロジカル構造に敏感である。
• 点群が異なる埋め込み空間に存在してもよいという利点があり、従来のトポロジカル比較手法の主な制限を克服する。
• 本手法は効率的に実装されており、オープンソース化されており、実世界のディープラーニングベンチマークへの応用を可能としている。

実験結果

リサーチクエスチョン

• RQ1 線形的またはカーネルベースの類似度を超えて、クラスターやボイドといった表現の背後にあるトポロジカル構造を捉えることができる、ニューラルネットワーク表現の比較方法は何か？
• RQ2 RTDは、線形相関では類似しているが構造的に異なる表現に対して、人間の直感的感覚やモデルベースの直感とどの程度相関するか？
• RQ3 訓練中やデータ分布のシフト、ファインチューニングの過程で、他のメトリクスが失敗する状況において、RTDは表現トポロジーの有意義な変化を検出できるか？
• RQ4 生成モデルの分離性評価において、RTDは解釈可能な方向とランダムな方向に沿った潜在空間のスライスを比較する際に、どのように機能するか？
• RQ5 視覚およびNLPのタスクにおいて、RTDはCKA、SVCCA、IMDといった既存のメトリクスよりも、表現の構造的差を効果的に捉えられるか？

主な発見

• RTDはモデル予測の不一致と高い相関を示しており、一般化に影響を与える意味のある表現差を捉えていることが示された。
• 訓練動態の分析において、CKAでは捉えきれないトポロジカル特徴（例えばボイドの出現）の構造的変化をRTDが明らかにした。
• CIFAR-100からCIFAR-10へのファインチューニングタスクにおいて、RTDはCKA、SVCCA、IMDを上回り、表現シフトの検出に優れた性能を示した。
• dSpritesにおける分離性評価では、RTDは解釈可能な要因（例：形状、位置）に沿った方向とランダムな方向との間で、顕著に低い不一致スコアを示した。これは、RTDが意味のある要因に敏感であることを確認した。
• ResNet-50およびConvNeXt-tinyのレイヤーワイズ解析において、RTDはCKA や SVCCA よりもネットワークのブロック構造をより明確に明らかにした。これは、アーキテクチャ設計が表現トポロジーにどのように反映されるかを強調している。
• UMAPで次元削減されたMNISTにRTDを適用した場合、CKAに類似したメトリクスでは性能が低かったが、これはRTDが線形的またはRBFベースのCKAが見逃すトポロジカルな非一貫性を捉えていることを示している。