[논문 리뷰] Hyper-Representations: Self-Supervised Representation Learning on Neural Network Weights for Model Characteristic Prediction

Konstantin Schürholt, Dimche Kostadinov외 1명|arXiv (Cornell University)|2021. 10. 28.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 신경망 집단의 가중치에서 직접 의미 있는, 작업에 종속되지 않는 표현을 학습하는 자기지도 학습 표현 학습 프레임워크인 Hyper-Representations를 제안한다. 도메인 특화 데이터 증강 기법—예를 들어 구조를 유지하는 순열, 삭제, 노이즈 추가—을 적용하고, 수정된 트랜스포머 아키텍처를 활용함으로써, 초모수, 테스트 정확도, 일반화 갭과 같은 모델 특성 예측에서 최신 기술 수준의 성능을 달성하였으며, 분포 외 설정으로의 제로샷 전이 능력이 뛰어나다.

ABSTRACT

Datasets to NeurIPS 2021 accepted paper "Self-Supervised Representation Learning on Neural Network Weights for Model Characteristic Prediction". Datasets are pytorch files containing a dictionary with training, validation and test sets. Train, validation and test sets are custom dataset classes which inherit from the standard torch dataset class. Corresponding code an be found at https://github.com/HSG-AIML/NeurIPS_2021-Weight_Space_Learning. Datasets 41, 42, 43 and 44 are our dataset format wrapped around the zoos from Unterthiner et al, 2020 (https://github.com/google-research/google-research/tree/master/dnn_predict_accuracy)<br> <br> Abstract:<br> Self-Supervised Learning (SSL) has been shown to learn useful and information-preserving representations. Neural Networks (NNs) are widely applied, yet their weight space is still not fully understood. Therefore, we propose to use SSL to learn neural representations of the weights of populations of NNs. To that end, we introduce domain specific data augmentations and an adapted attention architecture. Our empirical evaluation demonstrates that self-supervised representation learning in this domain is able to recover diverse NN model characteristics. Further, we show that the proposed learned representations outperform prior work for predicting hyper-parameters, test accuracy, and generalization gap as well as transfer to out-of-distribution settings.

연구 동기 및 목표

• 신경망 집단의 가중치 공간에서 작업에 종속되지 않고 정보를 유지하는 표현을 학습하기 위해.
• 정확도 및 일반화와 같은 모델 특성과 관련된 가중치 공간의 다양한 영역 간 관계에 대한 이해 부족 문제를 해결하기 위해.
• 수작업 특징에 의존하는 이전의 지도 학습 방법보다, 자기지도 학습을 통해 엔드 투 엔드로 표현을 학습함으로써 개선하기 위해.
• 특성 예측을 위한 분포 외 모델 조합으로의 제로샷 전이를 가능하게 하기 위해.
• 가중치 공간에서 자기지도 학습이 신경망 가중치 공간 내 잠재적이고 의미 있는 구조를 드러냄을 검증하기 위해.

제안 방법

• 학습된 신경망의 가중치에 직접 적용되는 새로운 자기지도 학습 프레임워크를 제안하여, 가중치 벡터의 '모델 조합'을 형성한다.
• 가중치 공간의 인덕티브 바이어스를 유지하기 위해 도메인 특화 데이터 증강 기법 세 가지를 도입한다: 가중치의 구조를 유지하는 순열, 삭제, 노이즈 주입.
• 가중치 표현을 처리하고 인코딩하기 위해 트랜스포머 아키텍처를 적응하여 주목적 기반 특징 학습을 가능하게 한다.
• 증강된 가중치 벡터의 시각들로부터 하이퍼 표현을 학습하기 위해 대비 및 재구성 기반 사전학습 목표를 활용한다.
• 하류 작업(예: 초모수, 정확도, 일반화 갭 예측)에서 선형 프로빙을 사용하여 학습된 표현의 유용성을 평가한다.
• 재구성 및 대비 학습 목표의 조합을 통해 표현 품질과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경망 가중치에 대한 자기지도 표현 학습이 초모수 및 테스트 정확도와 같은 의미 있는 잠재적 모델 특성을 회복할 수 있는가?
• RQ2 특히 구조를 유지하는 순열을 포함한 도메인 특화 데이터 증강 기법이 학습된 가중치 표현의 품질에 어떤 영향을 미치는가?
• RQ3 제안된 하이퍼 표현은 분포 외 모델 조합에 대해 특성 예측에 일반화 가능한가?
• RQ4 가중치에서 모델 특성을 예측하는 데 있어 제안된 방법이 이전 최신 기술 수준의 접근법보다 어떻게 비교되는가?
• RQ5 다양한 랜덤 시드에서 유도된 가중치 공간의 다양성은 모델 특성의 복원 가능성에 어떤 역할을 하는가?

주요 결과

• 제안된 방법은 MNIST-HYP 조합에서 E c+ D 방법을 사용하여 테스트 정확도 예측에서 최신 기술 수준의 성능을 달성하였으며, R² 점수는 89.4를 기록하여 W 및 s(W) 기준선을 모두 초월하였다.
• 일반화 갭 예측의 경우, MNIST-HYP 조합에서 R² 점수는 32.9를 기록하였으며, 기준선인 W 방법(15.3)과 s(W)(24.8)보다 뚜렷이 뛰어났다.
• MNIST-SEED 조합에서는 테스트 정확도 예측에서 R² 점수가 87.2를 기록하여, 분포 외 설정에서도 뛰어난 성능을 보였다.
• 모든 작업과 데이터셋에서 뛰어난 켄달의 τ 점수를 확보하여, 모델 특성 예측의 순위 정렬 성능이 향상됨을 시사한다.
• 절단 분석 결과, 모델 조합 내에서 랜덤 시드의 다양성이 모델 특성의 복원 가능성에 기여함을 확인하였으며, 이는 훈련 설정의 다양성의 중요성을 강조한다.
• 모델은 분포 외 평가에서 뛰어난 제로샷 전이 성능을 보였으며, MNIST-HYP, FASHION-HYP, SVHN-HYP, CIFAR10-HYP 전반에서 기준선보다 더 높은 R² 및 켄달의 τ 점수를 확보하였다.