[논문 리뷰] Hyper-Representations as Generative Models: Sampling Unseen Neural Network Weights

Konstantin Schürholt, B. A. Knyazev외 2명|arXiv (Cornell University)|2022. 09. 29.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 신경망 가중치 집합에 대해 자기지도 학습된 오토에인코더를 통해 학습된 초표현( hyper-representations)을 사용하여, 단일 순방향 전파에서 고성능이면서 다양한 신경망 가중치를 생성하는 새로운 생성 프레임워크를 제안한다. 계층별 손실 정규화와 위상 구조 인식 샘플링 전략을 도입함으로써, 다양한 이미지 데이터셋에서 초기화, 앙상블 샘플링, 전이 학습 등에서 베이스라인을 능가하는 모델을 생성한다.

ABSTRACT

Learning representations of neural network weights given a model zoo is an emerging and challenging area with many potential applications from model inspection, to neural architecture search or knowledge distillation. Recently, an autoencoder trained on a model zoo was able to learn a hyper-representation, which captures intrinsic and extrinsic properties of the models in the zoo. In this work, we extend hyper-representations for generative use to sample new model weights. We propose layer-wise loss normalization which we demonstrate is key to generate high-performing models and several sampling methods based on the topology of hyper-representations. The models generated using our methods are diverse, performant and capable to outperform strong baselines as evaluated on several downstream tasks: initialization, ensemble sampling and transfer learning. Our results indicate the potential of knowledge aggregation from model zoos to new models via hyper-representations thereby paving the avenue for novel research directions.

연구 동기 및 목표

• 학습 데이터나 레이블에 접근할 수 없더라도 모델 저널에서 새로운 고성능 신경망 가중치를 생성할 수 있도록 하는 것.
• 초표현에서 기능적인 모델을 생성하는 과제를 해결하기 위해 복원 품질과 일반화 능력을 향상시키는 것.
• 초표현 공간의 기하학적 및 위상적 구조를 활용하여 다양하고 효과적인 가중치 생성을 위한 샘플링 방법을 개발하는 것.
• 초표현이 다양한 후행 작업에서 일반적인 목적의 신경망 가중치 생성 모델로 기능할 수 있음을 보여주는 것.
• 재학습 없이도 새로운 아키텍처와 잠재 요인에 대해 조건부 가중치 생성을 가능하게 하는 것.

제안 방법

• 모델 저널에서 유도된 평탄화된 가중치 벡터에 대해 자기지도 오토에인코더를 훈련시어, 다중 헤드 자기주의를 사용하여 저차원의 초표현을 학습하는 것.
• 훈련 안정성 향상과 복원된 가중치 품질 향상을 위해 복원 손실에 계층별 손실 정규화를 도입하는 것.
• 순차적 뉴런 표현을 모델링하기 위해 학습 가능한 토큰 임베딩과 위치 인코딩을 갖춘 대칭형 인코더-디코더 아키텍처를 사용하는 것.
• 잠재 공간의 분리성과 강건성을 향상시키기 위해 MSE와 대조 손실을 조합한 다중 목표 손실을 적용하는 것.
• 초표현 공간의 위상 구조를 기반으로 한 샘플링 전략을 설계하여, 한 번의 순방향 전파로 다양하고 고성능의 가중치 생성을 가능하게 하는 것.
• 학습된 초표현 공간 내에서의 보간 또는 투영을 통해 잠재 요인이나 새로운 아키텍처에 대해 조건부 샘플링을 수행하는 것.

실험 결과

연구 질문

• RQ1 모델 저널에서 훈련된 초표현은 새로운 기능적인 신경망 가중치를 생성하기 위한 효과적인 생성 모델로 확장될 수 있는가?
• RQ2 계층별 손실 정규화는 표준 복원 손실 대비 생성된 모델의 품질과 성능을 어떻게 향상시키는가?
• RQ3 초표현 공간 내에서 위상 구조 인식 샘플링이 다양한 후행 작업에서 다양하고 고성능의 모델을 얼마나 잘 생성하는가?
• RQ4 제안된 방법은 초기화, 앙상블 샘플링, 전이 학습에서 랜덤 초기화 및 베이스라인보다 우수한 성능을 내는 모델을 생성할 수 있는가?
• RQ5 초표현은 재학습 없이도 새로운 아키텍처에 대해 가중치를 생성할 수 있으며, 이러한 조건부 생성은 얼마나 효과적인가?

주요 결과

• 계층별 손실 정규화는 복원된 가중치의 품질을 크게 향상시켜, 후행 작업에서 잘 작동하는 기능적인 모델 생성을 가능하게 한다.
• 제안된 샘플링 방법은 랜덤 초기화 및 기존 초표현 기반 방법보다 높은 정확도를 달성하는 다양한 모델 집단을 생성한다.
• 초기화, 앙상블 샘플링, 전이 학습에서 강력한 베이스라인보다 우수한 성능을 보이며, 네 개의 이미지 데이터셋에서 성능 향상이 관찰된다.
• 새로운 아키텍처에 대해서도 샘플링된 모델이 더 빠르게 학습하고, 미세조정 및 전이 학습 중 통계적으로 유의미한 성능 향상을 달성한다.
• 초표현을 재학습 없이도 잠재 요인과 새로운 아키텍처에 대해 조건부 가중치 생성이 가능하게 하여 일반화 능력과 유연성을 입증한다.
• 단일 순방향 전파로 높은 성능을 달성하여, 모델 생성 및 지식 정복에 실용적 구현에 효율적이고 확장 가능한 방법을 제공한다.