[논문 리뷰] Transferred Discrepancy: Quantifying the Difference Between Representations

Yunzhen Feng, Runtian Zhai외 3명|arXiv (Cornell University)|2020. 07. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 6

한 줄 요약

이 논문은 전이된 불일치(Transferred Discrepancy, TD)라는 새로운 메트릭을 소개한다. 이 메트릭은 두 모델 간의 다운스트림 태스크 성능 불일치를 측정하여 표현 차이를 정량화한다. 연구 결과 TD는 일반화 품질과 강하게 상관되며, 일반화를 향상시키는 데이터 증강 기법은 TD의 강건성을 높이고, 해로운 증강 기법은 이를 감소시킴을 보여준다.

ABSTRACT

Understanding what information neural networks capture is an essential problem in deep learning, and studying whether different models capture similar features is an initial step to achieve this goal. Previous works sought to define metrics over the feature matrices to measure the difference between two models. However, different metrics sometimes lead to contradictory conclusions, and there has been no consensus on which metric is suitable to use in practice. In this work, we propose a novel metric that goes beyond previous approaches. Recall that one of the most practical scenarios of using the learned representations is to apply them to downstream tasks. We argue that we should design the metric based on a similar principle. For that, we introduce the transferred discrepancy (TD), a new metric that defines the difference between two representations based on their downstream-task performance. Through an asymptotic analysis, we show how TD correlates with downstream tasks and the necessity to define metrics in such a task-dependent fashion. In particular, we also show that under specific conditions, the TD metric is closely related to previous metrics. Our experiments show that TD can provide fine-grained information for varied downstream tasks, and for the models trained from different initializations, the learned features are not the same in terms of downstream-task predictions. We find that TD may also be used to evaluate the effectiveness of different training strategies. For example, we demonstrate that the models trained with proper data augmentations that improve the generalization capture more similar features in terms of TD, while those with data augmentations that hurt the generalization will not. This suggests a training strategy that leads to more robust representation also trains models that generalize better.

연구 동기 및 목표

• 특성 값에 기반한 기존 표현 유사도 메트릭이 특성 값 기반임에도 불구하고 모순된 결론을 도출하는 데서 비롯된 일관성의 결여 문제를 해결하기 위해.
• 실제로 표현이 어떻게 기능하는지 반영하는 다운스트림 태스크 성능에 기반한 새로운 메트릭을 제안하기 위해.
• 선형 프로빙 기반의 이론적 기반을 마련하고, 기존 메트릭인 CKA 및 CCA와의 관계를 규명하기 위해.
• 다른 초기화 및 학습 전략으로부터 학습된 표현 간의 충실한, 작업에 특화된 차이를 TD가 어떻게 드러내는지 경험적으로 검증하기 위해.
• 학습 요소들, 예를 들어 데이터 증강 및 모델 아키텍처가 TD 강건성의 관점에서 표현 유사도에 어떻게 영향을 미치는지 조사하기 위해.

제안 방법

• 두 모델이 특징에 대해 선형 헤드를 피니튜닝한 후 동일한 다운스트림 태스크 데이터에 대해 내놓는 예측의 차이로 전이된 불일치(TD)를 정의한다.
• 선형 프로빙을 사용하여 TD의 합리적인 변환에 대한 불변성과 그 점근적 한계를 이론적으로 분석한다.
• 특정 조건 하에서 TD가 최대 매칭, CCA, CKA와 같은 기존 메트릭과 수학적으로 관련이 있음을 보여준다.
• 다양한 데이터 증강, 아키텍처, 업스트림 태스크를 사용해 CIFAR-10, CIFAR-5 등 여러 다운스트림 태스크에서 TD를 평가한다.
• 다른 무작위 초기화에서 학습된 모델 간의 예측 차이로 정의된 TD 강건성(robustness)을 도입하고 분석한다.
• 배치 크기, 학습 에포크 수, 모델 깊이, 너비, 업스트림 태스크의 난이도 등에 대한 아블레이션 스터디를 통해 TD의 민감도와 신뢰성을 평가한다.

실험 결과

연구 질문

• RQ1 다운스트림 태스크에서의 실제 성능을 반영할 수 있는 표현 유사도 측정 방법은 무엇인가?
• RQ2 기존 메트릭인 CKA 및 CCA가 표현 유사도에 대해 때로는 모순된 결론을 도출하는 이유는 무엇인가?
• RQ3 전이된 불일치(TD) 메트릭이 다운스트림 일반화 성능과 얼마나 일관되게 작용하는가?
• RQ4 데이터 증강 전략은 TD로 측정된 학습된 표현의 유사도에 어떻게 영향을 미치는가?
• RQ5 깊이 및 너비와 같은 아키텍처 선택은 TD에 따라 표현 유사도에 어떻게 영향을 미치는가?

주요 결과

• 다른 초기화에서 학습된 모델들은 TD로 측정했을 때 다운스트림 태스크 성능 측면에서 동일한 표현을 학습하지 않는다.
• 일반화를 향상시키는 증강 기법(예: CutMix, MixUp)을 사용할 경우 TD 강건성이 크게 증가하지만, 일반화를 해치는 증강 기법은 이를 감소시킨다.
• Cifar-5에서 학습된 ResNet110은 Cifar-10에서 83%의 정확도를 달성하며, 그 TD 값은 얕은 모델보다 낮아 더 유사한 표현을 학습하고 있음을 시사한다.
• ResNet32의 너비를 두 배로 늘리면 TD_hard가 0.2139에서 0.1580으로 감소하여 깊이보다 너비가 표현 유사도에 더 강한 영향을 미친다.
• TD_soft와 TD_hard 모두 업스트림 태스크 난이도가 증가함에 따라 감소한다(C4 → C100), 이는 더 어려운 업스트림 태스크는 더 유사한 표현을 유도함을 나타낸다.
• C100에서 학습된 VGG19 모델은 Cifar-10에서 TD_hard가 0.4567로 가장 높아, 특정 조건 하에서 더 깊은 아키텍처는 덜 유사한 특징을 학습할 수 있음을 시사한다.