[논문 리뷰] Similarity of Neural Networks with Gradients

Shuai Tang, Wesley J. Maddox외 3명|arXiv (Cornell University)|2020. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 12

한 줄 요약

이 논문은 신경망 간 유사도를 측정하기 위한 새로운 유사도 지표를 제안한다. 이 지표는 특징 벡터와 기울기 벡터를 커널 기반 표현으로 통합하며, 스케칭 기법을 활용해 확장성과 데이터셋 크기 차이에 대한 불변성을 확보한다. 이 방법은 서로 다른 데이터셋에서 독립적으로 훈련된 모델 간 비교에서 최신 기술 수준의 성능을 달성하며, 중심화된 커널 정렬(CKA)이 경험적 평가에서 정규화된 루즈 유사도(NBS)를 능가한다.

ABSTRACT

A suitable similarity index for comparing learnt neural networks plays an important role in understanding the behaviour of the highly-nonlinear functions, and can provide insights on further theoretical analysis and empirical studies. We define two key steps when comparing models: firstly, the representation abstracted from the learnt model, where we propose to leverage both feature vectors and gradient ones (which are largely ignored in prior work) into designing the representation of a neural network. Secondly, we define the employed similarity index which gives desired invariance properties, and we facilitate the chosen ones with sketching techniques for comparing various datasets efficiently. Empirically, we show that the proposed approach provides a state-of-the-art method for computing similarity of neural networks that are trained independently on different datasets and the tasks defined by the datasets.

연구 동기 및 목표

• 다른 데이터셋에서 훈련된 신경망을 비교하기 위한 강력한 유사도 지표를 개발하는 것.
• 기존의 유사도 지표가 데이터셋 크기의 다양성에 대응하지 못하는 한계를 해결하는 것.
• 더 rich한 모델 특성 기술을 위해 손실 곡면의 특징 표현과 기울기 정보를 모두 통합하는 것.
• 스펙트럼 구조를 유지하면서도 효율적이고 확장 가능한 비교를 가능하게 하는 스케칭 기법을 활용하는 것.
• 커널 평균 임베딩 노름을 통한 해석 가능성에 대한 경험적 및 이론적 통찰을 제공하는 것.

제안 방법

• 신경망의 히든 레이어에서 유도된 특징 벡터와 기울기 벡터를 사용해 통합된 커널 표현을 구성하는 방법.
• 예측 분포를 표현하기 위해 커널 평균 임베딩을 적용하며, 임베딩의 노름을 모델-데이터셋 정렬도를 대체로 사용.
• 고차원 커널 행렬을 낮은 차원으로 투영하기 위해 스케칭 기법을 적용하여 효율적 계산과 샘플 크기 변화에 대한 불변성을 확보.
• 스케칭된 표현에 대해 CKA 또는 NBS를 사용해 유사도 지표를 계산하며, 실험 결과에서 CKA가 더 우수한 성능을 보여 더 선호됨.
• 다른 데이터셋에서 훈련된 모델 간 비교를 지원하며, 전이 가능성과 적응 난이도 분석이 가능.
• 배치 병렬 기반의 기울기 계산을 구현하여 이전 방법 대비 시간 및 공간 복잡도를 감소시킴.

실험 결과

연구 질문

• RQ1 어떻게 서로 다른 데이터셋에서 훈련된 신경망을 효과적으로 비교할 수 있는 유사도 지표를 설계할 수 있는가?
• RQ2 기울기 벡터는 모델 비교에서 작업 특화 정보를 어떻게 반영하는가?
• RQ3 스케칭 기법을 통해 다양한 크기의 데이터셋 간 신경망 표현의 효율적이고 불변적인 비교가 가능한가?
• RQ4 커널 평균 임베딩의 노름 ||μp||은 모델과 데이터셋 간의 유사도를 어떻게 반영하는가?
• RQ5 CKA와 NBS 중 어느 유사도 지표가 모델과 데이터셋 간의 의미 있는 관계를 더 잘 캡처하는가?

주요 결과

• 제안된 방법은 서로 다른 데이터셋에서 독립적으로 훈련된 신경망 간의 유사도 측정에서 최신 기술 수준의 성능을 달성한다.
• 특징 벡터와 기울기 벡터를 커널 표현에 통합하면 특징만 사용할 때보다 더 정보가 풍부한 유사도 점수를 도출한다.
• 스케칭은 효율적 계산과 다양한 데이터셋 크기 변화에 대한 불변성을 보장하여 방법의 확장성을 높인다.
• 커널 평균 임베딩의 노름 ||μp||은 직관적으로 이해되는 개념을 성공적으로 반영한다. 즉, 유사한 데이터셋(CIFAR-10과 CIFAR-100)에서 훈련된 모델는 적응이 덜 필요하다는 점.
• 경험적 결과에서 CKA는 NBS보다 더 뛰어난 성능을 보이며, 특히 데이터셋 크기가 다를 경우 진정한 모델 유사도를 더 잘 반영한다.
• 이 방법은 SVHN에서 훈련된 모델가 CIFAR-100보다 CIFAR-10보다 더 높은 유사도를 보임을 드러내며, 도메인 유사성 기대와 일치한다.