[논문 리뷰] Towards Task and Architecture-Independent Generalization Gap Predictors

Scott Yak, Javier Gonzalvo외 1명|arXiv (Cornell University)|2019. 06. 04.

Advanced Neural Network Applications참고 문헌 10인용 수 9

한 줄 요약

이 논문은 다양한 데이터셋과 네트워크 아키텍처를 통해 일반화 성능을 예측하기 위해 딥 뉴럴 네트워크(DNNs)와 순환 신경망(RNNs)을 사용하는 작업 및 아키텍처에 관계없는 일반화 갭 예측 모델을 제안한다. 다양한 아키텍처, 하이퍼파라미터, 나선형 데이터셋 변형을 가진 13,500개의 신경망을 훈련시켜 일반화 갭을 예측하는 데 R² = 0.965를 달성하였으며, 선형 모델을 크게 능가하고 새로운 하이퍼파라미터와 데이터셋에 대해 강력한 제로샷 일반화 성능을 보였다.

ABSTRACT

Can we use deep learning to predict when deep learning works? Our results suggest the affirmative. We created a dataset by training 13,500 neural networks with different architectures, on different variations of spiral datasets, and using different optimization parameters. We used this dataset to train task-independent and architecture-independent generalization gap predictors for those neural networks. We extend Jiang et al. (2018) to also use DNNs and RNNs and show that they outperform the linear model, obtaining $R^2=0.965$. We also show results for architecture-independent, task-independent, and out-of-distribution generalization gap prediction tasks. Both DNNs and RNNs consistently and significantly outperform linear models, with RNNs obtaining $R^2=0.584$.

연구 동기 및 목표

• 특정 작업과 신경망 아키텍처에 종속되지 않는 일반화 갭 예측 모델을 개발하는 것.
• 이전 연구의 한계를 해결하기 위해 고정된 아키텍처와 데이터셋 내에서만 일반화되는 것에 국한되지 않는 것.
• 미래에 등장할 수 있는 아키텍처, 하이퍼파라미터, 데이터 분포에 대해 제로샷으로 일반화 성능을 예측할 수 있도록 하는 것.
• 신경망 아키텍처 탐색(NAS)을 향상시키고, 보류 검증 세트에 대한 의존도를 줄이는 것.
• 딥 러닝이 스스로 일반화 잘 되는 경우를 예측하는 데 사용될 수 있는지 탐구하는 것.

제안 방법

• 27종의 나선형 데이터셋 변형, 다양한 아키텍처, 최적화 하이퍼파라미터를 가진 13,500개의 신경망을 훈련한다.
• 일반화 갭 예측을 위한 입력 특징으로 계층별 마진 서명을 추출한다.
• 변동하는 깊이를 가진 네트워크를 처리하기 위해 계층별 특징을 합하여 고정된 차원의 벡터로 만든다.
• 고정된 입력 크기가 필요 없이 변수 길이의 계층 특징 시퀀스를 자연스럽게 처리할 수 있도록 RNN을 활용한다.
• 마진 특징을 기반으로 DNN 및 RNN 모델을 훈련하여 일반화 갭(학습 정확도와 테스트 정확도의 차이)을 예측한다.
• 동일 분포 및 이질 분포 설정에서 평가하며, 새로운 하이퍼파라미터와 데이터셋으로의 외삽도 포함한다.

실험 결과

연구 질문

• RQ1 특정 작업과 신경망 아키텍처에 종속되지 않는 일반화 갭 예측 모델을 훈련시킬 수 있는가?
• RQ2 다양한 아키텍처와 데이터셋에서 DNN 및 RNN 모델이 선형 모델보다 일반화 갭 예측 성능에서 뛰어나게 되는가?
• RQ3 이러한 예측 모델은 새로운 하이퍼파라미터와 데이터 분포로의 일반화 성능이 얼마나 우수한가?
• RQ4 RNN은 순차적인 계층 특징을 처리함으로써 변동 깊이의 신경망을 효과적으로 모델링할 수 있는가?
• RQ5 모델은 하이퍼파라미터에 특화된 상관관계를 넘어서 일반화 가능한 패턴을 학습하는가?

주요 결과

• DNN 기반 일반화 갭 예측 모델은 데이터셋 종속, 동일 분포 설정에서 R² = 0.965를 달성하였으며, 선형 모델(R² = 0.956)을 능가하고, Jiang et al. (2018)의 결과를 재현하였다.
• RNN 기반 예측 모델은 데이터셋 독립, 동일 분포 설정에서 R² = 0.584를 기록하였으며, 선형 모델(R² = 0.390)과 DNN(R² = 0.502)를 크게 능가하였다.
• 이상 분포 평가 조건에서도(새로운 하이퍼파라미터와 데이터셋으로 테스트) DNN 및 RNN 모델은 성능 저하가 미미하게 나타나 (≤0.002 R² 감소) 강력한 일반화 성능을 보였다.
• 예측 모델은 새로운 아키텍처와 하이퍼파라미터로도 잘 일반화되며, 특정 설정에 과적합된 것이 아니라 일반화 가능한 패턴을 학습한 것으로 나타났다.
• RNN의 사용은 아키텍처 제약 없이 변동 깊이의 네트워크를 효과적으로 모델링할 수 있도록 하여, 딥 러닝 일반화 예측에 순차적 모델링 접근의 가능성을 입증하였다.
• 결과적으로 딥 러닝이 스스로 일반화 잘 되는 경우를 예측하는 데 사용될 수 있으며, 보류 검증 세트 없이도 NAS 및 모델 선택에 응용 가능할 잠재력이 있다.