[논문 리뷰] Learning from Randomly Initialized Neural Network Features

Ehsan Amid, Rohan Anil외 2명|arXiv (Cornell University)|2022. 02. 13.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 이론적으로 탄탄한 무한차원 커널인 신경망 사전 커널(Neural Network Prior Kernel, NNPK)을 소개한다. 이는 무작위로 초기화된 신경망의 기대 로짓(logit)에서 유도된 것이다. 신경망 랜덤 특징(Neural Random Features, NRF)은 NNPK의 유한표본 근사이며, 의미 있는 데이터 구조를 포착하고, 학습 없이도 선형 분류기가 뛰어난 성능을 내도록 한다. 예를 들어 ImageNet-1K에서 10.3%의 top-1 정확도를 달성한다. 이는 아키텍처의 인덕티브 바이어스가 초기화 단계에서 이미 존재한다는 것을 시사한다.

ABSTRACT

We present the surprising result that randomly initialized neural networks are good feature extractors in expectation. These random features correspond to finite-sample realizations of what we call Neural Network Prior Kernel (NNPK), which is inherently infinite-dimensional. We conduct ablations across multiple architectures of varying sizes as well as initializations and activation functions. Our analysis suggests that certain structures that manifest in a trained model are already present at initialization. Therefore, NNPK may provide further insight into why neural networks are so effective in learning such structures.

연구 동기 및 목표

• 무작위로 초기화된 신경망이 어떤 학습 없이도 효과적인 특징 추출기로 기능할 수 있는지 조사하는 것.
• 무작위로 초기화된 네트워크의 로짓 내적의 기대값을 기반으로 새로운 커널인 신경망 사전 커널(Neural Network Prior Kernel, NNPK)을 수학적으로 정식화하는 것.
• 아키텍처 선택, 가중치 초기화, 활성화 함수가 NRF를 통한 특징 품질에 미치는 영향을 분석하는 것.
• 완전히 훈련된 모델에서 관찰되는 구조적 특성이 초기화 단계의 무작위 특징 표현에서 이미 존재하는지 탐색하는 것.

제안 방법

• 사전 분포 π(θ)에서 무작위로 가중치 실현값을 추출한 모든 경우의 로짓 내적 기대값으로 신경망 사전 커널(Neural Network Prior Kernel, NNPK)을 정의한다.
• 무작위로 초기화된 다수의 신경망을 사용해 입력 예제를 고차원 공간으로 임베딩하는 방식으로, NNPK의 유한표본 근사인 신경망 랜덤 특징(Neural Random Features, NRF)을 구성한다.
• 하류 분류 작업에서의 성능 평가를 위해 NRF 표현에 대해 선형 분류기를 훈련한다.
• TriMap 시각화와 코사인 유사도 분석을 통해 NRF, 원본 입력, 완전히 훈련된 모델에서의 데이터 기하학적 구조를 비교한다.
• 모델 아키텍처, 초기화 방법, 활성화 함수, 정규화 레이어를 체계적으로 제거하여 NRF 품질에 미치는 영향을 연구한다.
• 스케일링 및 성능 평가를 위해 NRF를 ImageNet-1K와 같은 대규모 데이터셋에 적용한다.

실험 결과

연구 질문

• RQ1 무작위로 초기화된 신경망은 어떤 학습 없이도 의미 있는 데이터 구조를 반영하는 특징을 추출하는가?
• RQ2 신경망 사전 커널(Neural Network Prior Kernel, NNPK)은 딥 네트워크의 인덕티브 바이어스를 이해하는 데 이론적 기초가 될 수 있는가?
• RQ3 스킵 연결과 정규화 레이크 같은 아키텍처 구성 요소가 NRF를 통한 특징 품질에 어느 정도 영향을 미치는가?
• RQ4 NRF에서 선형 분류기의 성능과 동일 데이터셋에서 완전히 훈련된 모델의 최종 정확도 사이에 상관관계가 있는가?

주요 결과

• 무작위로 초기화된 ResNet-18 모델에서 유도한 4096개의 신경망 랜덤 특징(NRF)에 대해 선형 분류기를 훈련한 결과, ImageNet-1K에서 10.3%의 top-1 정확도를 기록했으며, 이는 원본 입력 특징(150K 차원)에 대해 선형 분류기가 기록한 3.4%보다 유의미하게 높은 성능이다.
• 31,568개의 NRF 특징에 대해 두 층의 MLP를 훈련한 결과, ImageNet-1K에서 15.2%의 top-1 정확도를 달성하여, NRF 위에 간단한 모델을 적용함으로써 원본 입력 성능을 초월할 수 있음을 보여준다.
• TriMap 시각화 결과, 완전히 훈련된 ResNet-18 모델에서 관찰된 클러스터 구조와 클래스 간 거리 패턴이 NRF 표현에서도 이미 존재함을 확인하여, 초기화 단계에서 데이터의 구조가 그대로 반영됨을 시사한다.
• 다양한 아키텍처와 초기화 방법에서 NRF에서의 선형 분류기 성능과 완전히 훈련된 모델의 최종 정확도 사이에 강한 상관관계가 있음을 확인하여, NRF가 모델의 학습 가능성 예측에 사용될 수 있음을 시사한다.
• 스킵 연결과 ReLU 활성화 함수는 NRF 품질을 향상시키지만, 최종 훈련된 모델의 성능이 항상 동일한 추세를 따르지는 않음을 확인하여, NNPK가 모든 경우에 일반화를 완전히 예측하지는 못함을 시사한다.
• 배치 정규화(BatchNorm)는 NNPK에 영향을 주지 않지만, 레이어 정규화(LayerNorm)와 인스턴스 정규화(InstanceNorm)와 같은 다른 정규화 기법의 영향은 아직 탐색되지 않았다.