[論文レビュー] Transferred Discrepancy: Quantifying the Difference Between Representations

Yunzhen Feng, Runtian Zhai+3 more|arXiv (Cornell University)|Jul 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 6

ひとこと要約

本稿では、2つのモデル間の下流タスク性能の差を測ることで表現の違いを定量化する、新しい指標である転送不一致（TD）を導入する。TDは一般化性能と強く相関しており、一般化を向上させるデータオーグメンテーションはTDのロバストネスを向上させる一方、有害なオーグメンテーションはそれを低下させることを示している。

ABSTRACT

Understanding what information neural networks capture is an essential problem in deep learning, and studying whether different models capture similar features is an initial step to achieve this goal. Previous works sought to define metrics over the feature matrices to measure the difference between two models. However, different metrics sometimes lead to contradictory conclusions, and there has been no consensus on which metric is suitable to use in practice. In this work, we propose a novel metric that goes beyond previous approaches. Recall that one of the most practical scenarios of using the learned representations is to apply them to downstream tasks. We argue that we should design the metric based on a similar principle. For that, we introduce the transferred discrepancy (TD), a new metric that defines the difference between two representations based on their downstream-task performance. Through an asymptotic analysis, we show how TD correlates with downstream tasks and the necessity to define metrics in such a task-dependent fashion. In particular, we also show that under specific conditions, the TD metric is closely related to previous metrics. Our experiments show that TD can provide fine-grained information for varied downstream tasks, and for the models trained from different initializations, the learned features are not the same in terms of downstream-task predictions. We find that TD may also be used to evaluate the effectiveness of different training strategies. For example, we demonstrate that the models trained with proper data augmentations that improve the generalization capture more similar features in terms of TD, while those with data augmentations that hurt the generalization will not. This suggests a training strategy that leads to more robust representation also trains models that generalize better.

研究の動機と目的

• 特徴値に基づく既存の表現類似度指標が、特徴値の観点からは一貫性のない結論を導くという矛盾を解消すること。
• 実際の応用において表現がどのように機能するかを反映する、下流タスク性能に基づく新しい指標を提案すること。
• 線形プロービングの下で新しい指標の理論的基盤を確立し、CKA や CCA といった先行指標との関係を示すこと。
• 異なる初期化および学習戦略から学習された表現の間で、TD が忠実でタスク固有の違いを明らかにすることを実証的に検証すること。
• データオーグメンテーションやモデルアーキテクチャといった学習要因が、TD ロバストネスの観点から表現類似度に与える影響を調査すること。

提案手法

• 下流タスクの特徴に線形ヘッドをファインチューニングした後、2つのモデルが同じデータに対して予測する差を、転送不一致（TD）として定義する。
• 線形プロービングを用いて、TD の適切な変換における不変性を理論的に分析し、その漸近的極限を導出する。
• 特定の条件下では、TD が最大一致、CCA、CKA といった既存の指標と数学的に関連することを示す。
• さまざまなデータオーグメンテーション、アーキテクチャ、上流タスクを用いて学習されたモデルを用い、CIFAR-10 や CIFAR-5 などの複数の下流タスクで TD を評価する。
• 異なるランダム初期化から学習されたモデル間の予測差を用いて、TD ロバストネスを定義・分析する。
• バッチサイズ、訓練エポック数、モデルの深さ・幅、上流タスクの難易度といった要因を変化させたアブレーションスタディを実施し、TD の感度と信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 下流タスクでの実世界の性能を反映するように、表現類似度をどのように測定できるか？
• RQ2 なぜ CKA や CCA といった既存の指標は、表現類似度に関してしばしば矛盾した結論を導くのか？
• RQ3 転送不一致（TD）指標は、下流タスクの一般化性能とどの程度一貫性を示すか？
• RQ4 データオーグメンテーション戦略は、TD で測定された学習済み表現の類似度にどのように影響するか？
• RQ5 深さや幅といったアーキテクチャの選択は、TD による表現類似度にどの程度影響を及ぼすか？

主な発見

• 異なる初期化から学習されたモデルは、TD で測定した下流タスク性能の観点から、同一ではない表現を学習している。
• 一般化を向上させるオーグメンテーション（例：CutMix や MixUp）を適用すると、TD ロバストネスが顕著に向上するが、一般化を損なうオーグメンテーションでは低下する。
• Cifar-5 で学習された ResNet110 は Cifar-10 で 83% の精度を達成し、その TD 値は浅いモデルよりも低いことから、より類似した表現を学習していることが示された。
• ResNet32 の幅を2倍にすると、TD_hard は 0.2139 から 0.1580 に低下し、幅の増加が深さよりも表現類似度に強い影響を与えることが示された。
• TD_soft と TD_hard の両方が、上流タスクの難易度が上昇する（C4 → C100）に従って低下しており、より難しい上流タスクではより類似した表現が学習されることを示している。
• C100 で学習された VGG19 モデルは、Cifar-10 で最も高い TD_hard（0.4567）を示しており、特定の条件下では深層アーキテクチャがより類似しない特徴を学習する可能性があることが示された。