[논문 리뷰] Convergent Learning: Do different neural networks learn the same representations?

Yixuan Li, Jason Yosinski외 3명|arXiv (Cornell University)|2015. 11. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 57

한 줄 요약

이 논문은 동일한 작업을 학습하는 서로 다른 신경망이 무작위 초기화로부터 유사한 내부 표현으로 수렴하는지 조사하며, 이중 매칭, 희소 예측, 스펙트럼 클러스터링을 활용해 네트워크 간 특징을 정렬하는 방법을 제안한다. 주요 발견은 일부 특징은 네트워크 간 일관되게 학습되지만 다른 특징들은 그렇지 않으며, 표현은 국소적이고 약간 분산된 코딩의 혼합 형태이며, 개별 뉴런의 변동에도 불구하고 활성화 통계는 네트워크 간 수렴한다는 것이다.

ABSTRACT

Recent success in training deep neural networks have prompted active investigation into the features learned on their intermediate layers. Such research is difficult because it requires making sense of non-linear computations performed by millions of parameters, but valuable because it increases our ability to understand current models and create improved versions of them. In this paper we investigate the extent to which neural networks exhibit what we call convergent learning, which is when the representations learned by multiple nets converge to a set of features which are either individually similar between networks or where subsets of features span similar low-dimensional spaces. We propose a specific method of probing representations: training multiple networks and then comparing and contrasting their individual, learned representations at the level of neurons or groups of neurons. We begin research into this question using three techniques to approximately align different neural networks on a feature level: a bipartite matching approach that makes one-to-one assignments between neurons, a sparse prediction approach that finds one-to-many mappings, and a spectral clustering approach that finds many-to-many mappings. This initial investigation reveals a few previously unknown properties of neural networks, and we argue that future research into the question of convergent learning will yield many more. The insights described here include (1) that some features are learned reliably in multiple networks, yet other features are not consistently learned; (2) that units learn to span low-dimensional subspaces and, while these subspaces are common to multiple networks, the specific basis vectors learned are not; (3) that the representation codes show evidence of being a mix between a local code and slightly, but not fully, distributed codes across multiple units.

연구 동기 및 목표

• 동일한 작업에 대해 학습된 서로 다른 신경망이 유사한 내부 표현을 학습하는지 조사하는 것, 이 현상은 수렴 학습이라 불린다.
• 개별 뉴런 또는 뉴런 그룹 수준에서 독립적으로 학습된 깊이 신경망 간의 표현을 정렬하기 위한 방법을 개발하고 평가하는 것.
• 학습된 특징이 네트워크 간에 얼마나 공유되거나 고유하거나 구조화되어 있는지, 특히 부분공간 구조와 코딩 방식 측면에서 이해하는 것.
• 상관관계 및 상호정보량과 같은 다양한 유사도 측정 기준에서 특징 유사성의 강건성 평가.
• 공유된 표현과 고유한 표현을 바탕으로 모델 압축, 앙상블 학습, 학습 효율성 향상에 대한 함의 탐색.

제안 방법

• 특징 유사도를 기반으로 서로 다른 네트워크의 뉴런 간 일대일 대응 관계를 형성하기 위해 이중 매칭 접근법을 제안한다.
• LASSO 회귀를 사용해 한 네트워크의 표현을 다른 네트워크의 일부 하위집합으로 예측함으로써, 뉴런 간 일대다 매핑을 식별하기 위한 희소 예측 및 클러스터링 방법을 도입한다.
• 스펙트럼 클러스터링을 적용하여 네트워크 간 공유된 저차원 부분공간을 식별함으로써 다대다 관계를 탐지한다.
• 디컨볼루션 시각화 및 활성화 최대화를 사용해 이미지 인식 맥락에서 학습된 특징를 해석하고 검증한다.
• 선형 상관계수와 추정된 상호정보량을 포함한 다수의 유사도 측정 기준을 사용해 뉴런 대응의 강건성 평가.
• ImageNet에서 학습된 수정된 AlexNet 아키텍처에 정렬 기법을 적용하고, 여러 개별적으로 학습된 네트워크 간 표현을 비교한다.

실험 결과

연구 질문

• RQ1 무작위 초기화로부터 학습된 서로 다른 신경망이 얼마나 유사한 내부 표현을 학습하는가?
• RQ2 독립적으로 학습된 네트워크 간 일대일 뉴런 정렬이 가능할 수 있으며, 이 정렬은 다양한 유사도 측정 기준에서 얼마나 강건한가?
• RQ3 공유된 표현은 저차원 부분공간으로 구조화되어 있는가? 이러한 부분공간은 기저 벡터가 다를지라도 네트워크 간 일관된 기하학적 성질을 가지는가?
• RQ4 표현의 코딩 체계—국소적 대비 분산형—은 서로 다른 네트워크에서 어떻게 나타나는가?
• RQ5 개별 뉴런 활성화 값의 변동이 크더라도, 네트워크 간 평균 활성화 분포는 수렴하는가?

주요 결과

• 일부 특징는 여러 개별적으로 학습된 네트워크 간에 안정적으로 학습되지만, 다른 특징들은 일관되게 학습되지 않아 표현 학습에서 부분적인 수렴이 있음을 시사한다.
• 네트워크 간 뉴런들이 유사한 저차원 부분공간을 차지하지만, 이러한 부분공간의 구체적 기저 벡터는 다르므로, 동일한 파rameter화 없이도 공통된 구조적 조직이 존재함을 시사한다.
• 표현 코딩은 국소적 코딩(단일 뉴런 반응)과 약간의 분산 코딩(여러 단위 기여)의 혼합 형태를 보이며, 완전히 분산된 표현의 증거는 없다.
• 한 네트워크 내에서 개별 뉴런 활성화 값이 크게 변동하더라도, 서로 다른 네트워크 간 평균 활성화 분포는 거의 동일한 통계적 프로파일로 수렴한다.
• 다양한 유사도 측정 기준에서 표현의 유사성은 강건하며, 선형 상관계수와 상호정보량 모두 일관된 정렬 결과를 도출한다.
• 이러한 발견은 공통 부분공간을 활용하고 중복된 특징를 제거함으로써 모델 압축, 앙상블 형성, 효율적인 데이터 병렬 학습에 공유된 표현을 활용할 수 있음을 시사한다.