[논문 리뷰] Similarity and Matching of Neural Network Representations

Adrián Csiszárik, Péter Kőrösi-Szabó외 3명|arXiv (Cornell University)|2021. 10. 27.

Model Reduction and Neural Networks인용 수 20

한 줄 요약

이 논문은 동일한 아키텍처이지만 다른 초기화를 가진 두 개의 신경망을 선형 변환층을 통해 연결함으로써 표현 유사도를 평가하는 도구세트인 Dr. Frankenstein을 소개한다. 이는 동일한 아키텍처를 가진 네트워크 간의 표현을 단일 선형 변환층을 통해 높은 정확도로 매칭시킬 수 있음을 보여준다. 주요 기여는 표준 유사도 지표(예: CKA)와 실제 작업 성능 간의 괴리를 드러내는 功能적 유사도 관점으로, 높은 유사도 지표 값이 좋은 스티치 성능을 보장하지는 않음을 보여준다.

ABSTRACT

We employ a toolset -- dubbed Dr. Frankenstein -- to analyse the similarity of representations in deep neural networks. With this toolset, we aim to match the activations on given layers of two trained neural networks by joining them with a stitching layer. We demonstrate that the inner representations emerging in deep convolutional neural networks with the same architecture but different initializations can be matched with a surprisingly high degree of accuracy even with a single, affine stitching layer. We choose the stitching layer from several possible classes of linear transformations and investigate their performance and properties. The task of matching representations is closely related to notions of similarity. Using this toolset, we also provide a novel viewpoint on the current line of research regarding similarity indices of neural network representations: the perspective of the performance on a task.

연구 동기 및 목표

• 표준 통계적 유사도 측정법을 넘어서 신경망 표현의 기능적 유사도를 탐구하기 위해.
• 동일한 아키텍처이지만 다른 초기화를 가진 표현들이 단일 선형 스티치 레이어를 통해 기능적으로 매칭될 수 있는지 탐색하기 위해.
• 스티치된 네트워크에서 표현 유사도 지표(예: CKA)와 실제 작업 성능 간의 관계를 평가하기 위해.
• 스티치 변환의 구조적 특성, 즉 희박성, 유일성, 모드 연결성 등을 분석하기 위해.
• 작업 손실 기반의 스티치 레이어 훈련이 직접 매칭보다 우수한 성능을 보이며, 특히 희박성 제약 조건 하에서 그러한 성능 향상이 두드러짐을 보여주기 위해.

제안 방법

• 동일한 깊은 합성곱 신경망 두 개를 대응하는 중간 레이어 사이에 단일 선형 변환층을 사용해 스티칭하기.
• 스티치 레이어를 직접 매칭(활성화 간 MSE 최소화) 또는 작업 손실(스티치된 네트워크의 엔드 투 엔드 미세조정)을 통해 훈련하기.
• 스티치 레이어 최적화에서 나쁜 국소 최적화 해를 피하기 위해 최적의 최소 제곱 초기화를 사용하기.
• 스티치 행렬의 희박성을 유도하고 성능에 미치는 영향을 분석하기 위해 L1 정규화 적용하기.
• 다양한 스티치 매트릭스 간의 선형 모드 연결성 분석을 위해 보간을 수행하고 경로 상에서 성능 평가하기.
• 다양한 초기화 방법과 희박성 수준에서의 스티치 레이어 성능 비교하기.

실험 결과

연구 질문

• RQ1 동일한 아키텍처이지만 다른 초기화를 가진 두 네트워크의 표현들이 단일 선형 스티치 레이어를 통해 기능적으로 매칭될 수 있는가?
• RQ2 표준 표현 유사도 지표(예: CKA)가 스티치된 네트워크에서 실제 작업 성능과 얼마나 상관이 있는가?
• RQ3 스티치 레이어의 희박성이 통합된 네트워크의 성능에 어떤 영향을 미치는가?
• RQ4 동일한 레이어에 대해 여러 최적의 스티치 변환은 선형 모드 연결성으로 연결되어 있는가?
• RQ5 특히 희박성 제약 조건 하에서, 작업 손실 기반의 스티치 레이어 훈련이 직접 매칭보다 더 높은 성능을 보이는가?

주요 결과

• 동일한 아키텍처이지만 다른 초기화를 가진 네트워크의 표현을 단일 선형 스티치 레이어로 매칭한 스티치된 네트워크는 최대 97.7%의 높은 정확도를 달성한다.
• 높은 중심 커널 일치도(CKA) 값이 스티치된 네트워크에서 양호한 성능을 보장하지는 않으며, 이는 표준 유사도 지표와 기능적 유사도 간의 괴리를 시사한다.
• 희박성 조건 하에서 작업 손실 기반의 스티치 레이어 훈련이 직접 매칭을 크게 능가하며, 90%의 희박성에서도 높은 정확도를 유지하는 반면, 직접 매칭은 급격히 성능이 떨어진다.
• 최적의 최소 제곱 초기화가 일관되게 높은 성능의 스티치 레이어를 생성하여 나쁜 국소 최적화 해의 위험을 줄인다.
• 대부분의 레이어에서 선형 모드 연결성이 성립하지만, 높은 개별 성능에도 불구하고 초기 레이어에서는 실패함을 확인하여, 초기 표현에서 복잡한 최적화 역학이 존재함을 시사한다.
• 스티치 매트릭스는 비트리비얼한 희박성 패턴을 보이며, 표현 간의 관계는 단순한 뉴런 대 뉴런 매핑을 초월한 복잡한 기능적 정렬을 반영함을 나타낸다.