[논문 리뷰] Towards Understanding Learning Representations: To What Extent Do Different Neural Networks Learn the Same Representation

Liwei Wang, Lunjia Hu외 5명|arXiv (Cornell University)|2018. 10. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 4인용 수 33

한 줄 요약

이 논문은 서로 다른 랜덤 초기화로부터 훈련된 두 개의 동일한 딥 네ural 네트워크가 학습한 표현 간의 유사도를 정량화하기 위해 엄밀한 부분공간 매칭 프레임워크를 제안한다. 활성화 벡터와 최대 매칭 및 단순 매칭의 분해 이론을 사용하여, 합성곱층이 예상치 못하게 낮은 표현 유사도를 보임을 드러내며, 이는 훈련 런에 걸쳐 네트워크가 동일한 특징을 학습한다는 가정에 도전한다.

ABSTRACT

It is widely believed that learning good representations is one of the main reasons for the success of deep neural networks. Although highly intuitive, there is a lack of theory and systematic approach quantitatively characterizing what representations do deep neural networks learn. In this work, we move a tiny step towards a theory and better understanding of the representations. Specifically, we study a simpler problem: How similar are the representations learned by two networks with identical architecture but trained from different initializations. We develop a rigorous theory based on the neuron activation subspace match model. The theory gives a complete characterization of the structure of neuron activation subspace matches, where the core concepts are maximum match and simple match which describe the overall and the finest similarity between sets of neurons in two networks respectively. We also propose efficient algorithms to find the maximum match and simple matches. Finally, we conduct extensive experiments using our algorithms. Experimental results suggest that, surprisingly, representations learned by the same convolutional layers of networks trained from different initializations are not as similar as prevalently expected, at least in terms of subspace match.

연구 동기 및 목표

• 딥 네럴 네트워크 내 표현 유사도를 체계적이고 이론 기반으로 정량화하기 위한 접근법을 개발하는 것.
• 동일한 아키텍처이지만 다른 초기화를 가진 네트워크가 유사한 중간 표현을 학습하는지 조사하는 것.
• 유사도의 구조적 세분성—즉, 국소적(뉴런 간 대응)인지 분산적(클러스터 수준)인지 파악하는 것.
• 부분공간 매칭이 딥 네트워크 내 표현 유사도 측정에 유효한 지표가 되는지 확인하는 것.

제안 방법

• 고정된 입력 집합에 대해 활성화 벡터를 사용하여 모델 뉴런 표현을 기술하여 입력-출력 행동을 포착한다.
• 뉴런 집합 간 부분공간 매칭을 통해 표현 유사도를 정의하며, 부분공간은 활성화 벡터에 의해 생성된다.
• 전반적인 유사도를 포착하기 위해 '최대 매칭'의 개념을 도입하고, 최소 유사도 단위로 '단순 매칭'을 정의한다.
• 분해 정리 증명: 모든 매칭은 유일하게 단순 매칭으로 분해될 수 있으며, 이는 구조적 분석을 가능하게 한다.
• 최대 매칭과 단순 매칭을 계산하기 위한 효율적인 알고리즘(랜덤화 및 반복 방법 포함)을 개발한다.
• 다양한 유사도 임계값(ε)을 사용하여 CIFAR-10 및 ImageNet에서 훈련된 ResNet과 VGG 네트워크를 분석하기 위해 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 서로 다른 초기화로부터 훈련된 두 개의 동일한 딥 네럴 네트워크가 동일한 중간 표현을 얼마나 많이 학습하는가?
• RQ2 표현 간 유사도는 국소적(뉴런 간 대응)인지 분산적(클러스터 수준)인가?
• RQ3 활성화 부분공간 간 최대 매칭이 학습된 표현의 진정한 구조적 유사도를 반영하는가?
• RQ4 단순 매칭 크기의 분포는 표현 유사도의 미세 구조를 어떻게 드러내는가?
• RQ5 높은 테스트 정확도는 중간층에서 높은 표현 유사도를 의미하는가?

주요 결과

• 다른 초기화를 가진 네트워크의 합성곱층 간 최대 매칭 유사도는 매우 낮으며, 특히 깊은 층에서 거의 0에 가까운 경향이 있다.
• 출력층 표현 간 높은 유사도는 본질적 특징 공유 때문이 아니라 동일한 출력 타겟에 대한 정렬 때문임을 확인하였다.
• 공유된 입력 분포가 존재하더라도 입력층의 세밀한 구조적 유사도는 낮아, 국소적 뉴런 수준의 대응이 제한됨을 시사한다.
• 단순 매칭 크기의 분포는 매우 적은 수의 작은 매칭(예: 단일 뉴런)을 보이며, 이는 네트워크 간에 국소적 유사성이 유의미하게 존재하지 않음을 시사한다.
• 관측된 낮은 유사도 결과는 동일한 아키텍처가 훈련 런에 걸쳐 동일한 표현을 학습한다는 일반적인 가정과 모순된다.
• 결과는 현재 표현 학습에 대한 이해가 제한되어 있으며, 부분공간 매칭이 의미적 유사도를 완전히 포괄하지 못할 수 있음을 시사하며, 이는 해석 가능성과 지표 선택에 대한 근본적인 질문을 제기한다.