[논문 리뷰] SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability

Maithra Raghu, Justin Gilmer외 2명|arXiv (Cornell University)|2017. 06. 19.

Neural Networks and Applications인용 수 226

한 줄 요약

SVCCA는 SVD와 CCA를 결합하여 아핀 변환에 불변인 신경망 표현을 비교하고, 계층과 아키텍처 간 학습 역학, 차원성, 해석 가능성을 분석할 수 있게 한다.

ABSTRACT

We propose a new technique, Singular Vector Canonical Correlation Analysis (SVCCA), a tool for quickly comparing two representations in a way that is both invariant to affine transform (allowing comparison between different layers and networks) and fast to compute (allowing more comparisons to be calculated than with previous methods). We deploy this tool to measure the intrinsic dimensionality of layers, showing in some cases needless over-parameterization; to probe learning dynamics throughout training, finding that networks converge to final representations from the bottom up; to show where class-specific information in networks is formed; and to suggest new training regimes that simultaneously save computation and overfit less. Code: https://github.com/google/svcca/

연구 동기 및 목표

• 레이어가 학습한 표현의 고유 차원 수가 뉴런 수와 같은지 여부를 판단한다.
• 훈련 중 표현의 학습 다이내믹스를 조사한다(하향식 수렴).
• 네트워크에서 클래스 특유의 정보가 어디에서 형성되며 표현에서 의미가 어떻게 나타나는지 연구한다.
• SVCCA 결과에 기반한 실용적인 훈련 및 압축 방법을 제안한다.

제안 방법

• 뉴런을 데이터 세트에 대한 활성화 벡터로 표현하고, 한 층을 이 벡터들로 구성된 부분공간으로 취급한다.
• SVCCA를 적용: (1) 각 부분공간에서 SVD를 수행하여 분산의 99%를 설명하는 방향을 보존; (2) 축소된 부분공간에 대해 정칙상관분석을 적용하여 정렬된 방향과 상관을 얻는다.
• SVCCA 유사도를 방향들 간의 상위 정렬된 상관계수의 평균으로 제공한다.
• 동일 계층 또는 서로 다른 계층 비교를 통해 합성곱 층에 SVCCA를 확장하고, 합성곱 SVCCA를 정확하고 효율적으로 만들기 위해 Discrete Fourier Transform 전처리를 도입하여 블록 대각 공분산 구조를 생성한다는 타당성 및 구현을 제시한다.

실험 결과

연구 질문

• RQ1 학습된 레이어 표현의 고유 차원이 뉴런 수에 비해 얼마나 되는가?
• RQ2 훈련 중 표현은 어떻게 진화하는가(어떤 층이 먼저 수렴하는가)와 전역 학습 다이나믹스는 어떤가?
• RQ3 네트워크의 어느 위치에서 클래스 특유의 정보가 나타나며 이것이 클래스 간 의미론적 유사성과 어떻게 관련되는가?
• RQ4 SVCCA가 성능을 보존하면서 훈련 및 압축 전략을 안내할 수 있는가?

주요 결과

• 레이어는 종종 뉴런 수보다 훨씬 적은 정보적 방향으로 작동하며, 분산의 일부만 설명하는 부분공간에서 충분한 성능을 낼 수 있다.
• 학습 다이내믹스는 하향식이 아니라 상향식이며, 하위 레이어가 상위 레이어보다 먼저 확고해지므로 Freeze Training의 필요성을 시사한다.
• SVCCA 방향은 축에 정렬된 것만이 아니라 여러 뉴런에 걸쳐 분포될 수 있어 분산 표현을 나타낸다는 것을 시사한다.
• Discrete Fourier Transform 기반 SVCCA는 큰 합성곱 층에 확장 가능하며 층 간 클래스 민감도에서 의미론적 관계를 드러낸다.
• SVCCA 기반 투영은 최상위 SVCCA 방향으로 활성화를 투영해 일부 경우 성능 저하 없이 모델 압축이 가능하다.