[논문 리뷰] Classifying the classifier: dissecting the weight space of neural networks

Gabriel Eilertsen, Daniel Jönsson외 3명|arXiv (Cornell University)|2020. 02. 13.

Machine Learning and Data Classification참고 문헌 41인용 수 6

한 줄 요약

이 논문은 훈련된 딥 뉴럴 네트워크의 고차원적 표현으로서 신경망 가중치 공간(Neural Weight Space, NWS)을 소개한다. 다양한 초매개변수를 가진 16K개의 CNN을 사용하여 훈련 요소인 최적화기, 초기화 방식, 데이터셋 등이 가중치에 어떻게 영향을 미치는지 탐색한다. 소규모 가중치 부분집합에 대해 메타분류기들을 훈련시음으로써, 초매개변수들이 가중치 공간에 감지 가능한 국소적 흔적을 남긴다는 점을 밝혀내었으며, 특히 초기화 및 최적화기에서 두드러진 흔적이 있음을 확인하였다. 이는 가중치만으로도 훈련 설정을 추론할 수 있음을 의미하며, 본 연구에서 공개된 320K개의 스냅샷을 포함한 NWS 데이터셋은 향후 해석 가능성 및 메타학습 연구에 기여할 것이다.

ABSTRACT

This paper presents an empirical study on the weights of neural networks, where we interpret each model as a point in a high-dimensional space -- the neural weight space. To explore the complex structure of this space, we sample from a diverse selection of training variations (dataset, optimization procedure, architecture, etc.) of neural network classifiers, and train a large number of models to represent the weight space. Then, we use a machine learning approach for analyzing and extracting information from this space. Most centrally, we train a number of novel deep meta-classifiers with the objective of classifying different properties of the training setup by identifying their footprints in the weight space. Thus, the meta-classifiers probe for patterns induced by hyper-parameters, so that we can quantify how much, where, and when these are encoded through the optimization process. This provides a novel and complementary view for explainable AI, and we show how meta-classifiers can reveal a great deal of information about the training setup and optimization, by only considering a small subset of randomly selected consecutive weights. To promote further research on the weight space, we release the neural weight space (NWS) dataset -- a collection of 320K weight snapshots from 16K individually trained deep neural networks.

연구 동기 및 목표

• 훈련된 딥 뉴럴 네트워크의 고차원적 표현으로서 신경망 가중치 공간(Neural Weight Space, NWS)의 구조를 탐색하는 것.
• 최적화기, 초기화, 데이터셋과 같은 초매개변수들이 최종 가중치 구성에 어떻게 영향을 미치는지 조사하는 것.
• 가중치 패턴에서 초매개변수를 추론하는 메타분류 프레임워크를 개발하여, 훈련 이력의 역공학적 분석을 가능하게 하는 것.
• 향후 XAI 및 메타학습 연구를 위해 16,000개의 훈련된 CNN에서 유래한 320만 개의 가중치 스냅샷을 포함한 대규모 공개 데이터셋을 제공하는 것.
• 국소적인 가중치 부분집합이 초매개변수를 분류하는 데 충분한 정보를 담고 있음을 보여주며, 최적화가 훈련 선택을 어떻게 그리고 어디서 가중치 공간에 인코딩하는지 밝혀내는 것.

제안 방법

• 다양한 초매개변수 조합(데이터셋, 최적화기, 초기화, 증강, 필터 크기)을 가진 16,000개의 다양한 CNN을 훈련시어 NWS를 샘플링하는 것.
• 각 훈련된 모델을 고차원 가중치 공간 상의 한 점으로 표현하며, 훈련 단계별로 가중치 스냅샷을 수집하는 것.
• 가중치 벡터에서 초매개변수를 예측할 수 있도록 딥 메타분류기(Deep Meta-Classifiers, DMCs)를 훈련시어, 가중치에서 훈련 설정으로의 역매핑을 가능하게 하는 것.
• 소규모 연속 가중치 부분집합을 분석하는 국소 메타분류기를 도입하여, 초매개변수가 네트워크의 어디에 어떻게 인코딩되는지 정량화하는 것.
• 클래스 활성화 맵과 모델의 깊이 및 훈련 진행 단계에 따른 성능 평가를 통해 메타분류기 정확도 분포를 시각화하는 것.
• 연구의 복제 및 확장이 가능하도록 NWS 데이터셋과 훈련 스크립트를 공개하는 것.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크의 가중치에 얼마나 많은 훈련 설정 정보가 인코딩되어 있는가?
• RQ2 다른 초매개변수에 대해 가장 구별 가능한 가중치 패턴은 네트워크 아키텍처의 어디에 위치해 있는가?
• RQ3 최적화 과정이 가중치 공간에 어떻게 영향을 미치며, 이러한 패턴은 훈련의 어느 시점에 나타나는가?
• RQ4 연속된 소규모 가중치 부분집합이 최적화기나 초기화 방식과 같은 핵심 초매개변수의 정체성을 밝힐 수 있는가?
• RQ5 다양한 아키텍처 간에 이질적인 환경에서 가중치만으로 훈련 설정을 분류할 수 있는 메타분류기의 성능은 어느 정도인가?

주요 결과

• 초기화가 가중치 공간에서 가장 구별 가능한 특성으로 확인되었으며, 메타분류기는 가중치 패턴에서 초기화를 높은 정확도로 식별할 수 있었다.
• 최적화기가 강력하고 국소적인 영향을 미쳤으며, 특히 합성곱 레이어의 편향 가중치에 집중적으로 기여하여 모델 구성의 차이를 식별하는 데 기여했다.
• 입력 및 출력 레이어에 가까운 가중치는 더 깊이 있는 은닉 레이어보다 초기화로부터 더 빨리 분리되었으며, 이는 이러한 영역에서 최적화 영향이 이르고 더 강력하다는 것을 시사한다.
• 훈련에 사용된 데이터셋은 최적화 기법(학습률 스케줄, 최적화기 유형 등)에 비해 측정 가능한 영향은 있으나 덜 뚜렷한 흔적을 가졌다는 점이 확인되었다.
• 국소 메타분류기는 소규모 가중치 부분집합에서 높은 성능을 보였으며, 이는 많은 훈련 설정 정보가 국소적으로 인코딩되어 있으며, 소량의 데이터로도 추출 가능하다는 것을 보여주었다.
• 연구에서 필터 크기와 활성화 함수도 특히 초기 및 중간 레이어에서 감지 가능한 인코딩을 남겼으며, 성능은 네트워크의 깊이에 따라 달라졌다.