[논문 리뷰] Shared Representational Geometry Across Neural Networks

Qihong Lu, Po-Hsuan Chen외 4명|arXiv (Cornell University)|2018. 11. 28.

Face Recognition and Perception참고 문헌 17인용 수 10

한 줄 요약

이 논문은 동일한 데이터셋에서 학습된 서로 다른 신경망이 공통의 기저 표현 공간의 직교 변환을 통해 등가 표현을 학습한다고 제안한다. 공유 응답 모델(SRM)을 사용하여 저자들은 정렬 이후 상호 네트워크 표현 유사도 행렬(RSM)이 내부 네트워크 RSM과 밀도적으로 일치함을 보여주며, 비선형 네트워크가 선형 네트워크의 직교 가중치 등가 원리의 일반화를 이루는 것으로 확인한다.

ABSTRACT

Different neural networks trained on the same dataset often learn similar input-output mappings with very different weights. Is there some correspondence between these neural network solutions? For linear networks, it has been shown that different instances of the same network architecture encode the same representational similarity matrix, and their neural activity patterns are connected by orthogonal transformations. However, it is unclear if this holds for non-linear networks. Using a shared response model, we show that different neural networks encode the same input examples as different orthogonal transformations of an underlying shared representation. We test this claim using both standard convolutional neural networks and residual networks on CIFAR10 and CIFAR100.

연구 동기 및 목표

• 동일한 데이터에서 학습된 서로 다른 신경망이 서로 다른 가중치를 가짐에도 불구하고 등가 표현을 학습하는지 조사하기 위해.
• 선형 네트워크에서 유도된 이론적 직교성 원리가 비선형 네트워크로까지 확장되는지 테스트하기 위해.
• 공유 응답 모델(SRM)을 사용하여 네트워크 간에 공통 표현 공간을 구성할 수 있는지 평가하기 위해.
• 네트워크 간 및 네트워크 내에서의 표현 유사도 행렬(RSM)을 사용하여 정렬 품질을 정량화하기 위해.
• 직교 변환이 다양한 네트워크 아키텍처 간 활동 패턴을 정렬하는 데에 충분한지 확인하기 위해.

제안 방법

• 공유 응답 모델(SRM)을 사용하여 서로 다른 네트워크의 활동 패턴을 정규직교 변환 행렬을 통해 공통 표현 공간으로 매핑한다.
• SRM은 변환 행렬의 정규직교 조건을 만족시키는 조건 하에 재구성 오차의 프로베니우스 노름을 최소화한다.
• 은닉 유닛 활동 패턴 간의 쌍별 유사도를 비교하기 위해 표현 유사도 행렬(RSM)을 계산한다.
• 정렬 품질을 평가하기 위해 상호 네트워크 RSM(iRSM)과 내부 네트워크 RSM(wRSM)을 비교하며, 높은 상관관계는 성공적인 정렬을 나타낸다.
• 동일한 RSM이 네트워크 간에 존재할 경우, 활동 패턴이 공통 표현의 직교 변환으로 관련되어 있음을 보여주는 이론적 증명을 제공한다.
• 표준 및 잔차 컨volutional 네트워크를 사용하여 CIFAR10 및 CIFAR100에서 실험하여 아키텍처와 데이터셋 간에 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 동일한 데이터셋에서 학습된 서로 다른 신경망이 직교 변환을 통해 공통 표현 공간으로 정렬될 수 있는가?
• RQ2 이미 선형 네트워크에서 입증된 공통 표현 기하학 원리가 비선형 딥 네트워크로까지 확장되는가?
• RQ3 SRM 기반 정렬 이후 표현 유사도 구조가 네트워크 간에 유지되는가?
• RQ4 정규직교 변환을 사용한 SRM이 다양한 네트워크 인스턴스 간에 기저 공통 표현을 정확히 복원할 수 있는가?
• RQ5 정렬 이후 상호 네트워크 RSM이 내부 네트워크 RSM과 얼마나 유사한가? 이는 성공적인 기능적 대응을 나타내는가?

주요 결과

• SRM 정렬 이후 상호 네트워크 RSM(iRSM)이 평균 내부 네트워크 RSM(wRSM)과 높은 상관관계를 보이며, 네트워크 간 표현 정렬이 성공적으로 이루어졌음을 나타낸다.
• CIFAR10에서 학습된 네트워크 간 평균 상관관계가 0.92에 도달하여 강력한 표현 유사도를 보여준다.
• 이론적 분석을 통해 동일한 RSM이 네트워크 간에 존재할 경우, 활동 패턴이 공통 표현의 직교 변환으로 관련되어 있음을 증명한다.
• 정규직교 변환 행렬을 사용한 SRM은 가중치와 은닉 유닛 반응이 크게 다를 수 있는 서로 다른 네트워크의 활동 패턴을 성공적으로 정렬한다.
• 결과적으로 비선형 네트워크도 선형 네트워크와 마찬가지로 동일한 입력-출력 함수를 공통 기저 표현 공간의 강체 변환을 통해 인코딩함을 확인한다.
• 방법은 아키텍처 간 일반화가 가능하며, CIFAR10 및 CIFAR100에서 표준 및 잔차 네트워크 모두 일관된 정렬 성능을 보였다.