[논문 리뷰] Gaussian Process Surrogate Models for Neural Networks

Michael Y. Li, Erin Grant외 1명|arXiv (Cornell University)|2022. 08. 11.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 유한한 너비를 가진 신경망을 위한 가우시안 프로세스(GP) 대체 모델을 데이터 기반 접근 방식으로 구성하는 방법을 제안한다. 이는 무한한 너비 극한에서 분석적으로 유도하는 대신, 경험적 예측에서 커널 함수를 학습함으로써 이루어진다. 이 방법은 스펙트럼 편향과 같은 핵심 현상을 포착할 수 있으며, 영향력 있는 학습 데이터 포인트를 식별하거나 일반화 성능을 예측하는 실용적 응용을 가능하게 하여, 학습된 GP가 신경망 행동을 설명 가능하고 예측 가능한 대체 모델로 기능할 수 있음을 보여준다.

ABSTRACT

Not being able to understand and predict the behavior of deep learning systems makes it hard to decide what architecture and algorithm to use for a given problem. In science and engineering, modeling is a methodology used to understand complex systems whose internal processes are opaque. Modeling replaces a complex system with a simpler, more interpretable surrogate. Drawing inspiration from this, we construct a class of surrogate models for neural networks using Gaussian processes. Rather than deriving kernels for infinite neural networks, we learn kernels empirically from the naturalistic behavior of finite neural networks. We demonstrate our approach captures existing phenomena related to the spectral bias of neural networks, and then show that our surrogate models can be used to solve practical problems such as identifying which points most influence the behavior of specific neural networks and predicting which architectures and algorithms will generalize well for specific datasets.

연구 동기 및 목표

• 딥 러닝 시스템의 해석 가능성과 예측 가능성 부족 문제를 해결하기 위해, 특히 실세계 응용에 도입되었을 때의 문제를 해결하고자 한다.
• 신경망을 흑박상자로 간주하고, 더 단순하고 해석 가능한 대체 모델로 대체하는 모델링 프레임워크를 개발하고자 한다.
• 이론적 극한이나 분석적 유도에 의존하지 않고, 유한한 신경망 예측에서 경험적으로 커널 함수를 학습하고자 한다.
• 아키텍처와 데이터셋 간에 영향력 있는 학습 데이터 포인트 식별 및 일반화 성능 예측과 같은 실용적 응용을 가능하게 하고자 한다.
• GP 대체 모델이 스펙트럼 편향과 같은 알려진 현상을 포착하고, 신경망 행동을 이해하는 통합적이고 해석 가능한 프레임워크를 제공할 수 있음을 입증하고자 한다.

제안 방법

• 유한 너비 신경망 앙상블의 예측을 사용하여 GP의 주변 로그우도(mLL)를 최적화함으로써 GP 대체 모델의 커널 하이퍼파rameter를 학습한다.
• 스펙트럼 혼합 커널(SMK)을 사용하여 GP 공분산 함수를 모델링하며, Q=10개의 혼합 성분을 사용하여 신경망 예측의 복잡한 패턴을 민첩하게 표현할 수 있도록 한다.
• ReLU 또는 사인파 활성화 함수를 가진 50개의 무작위 초기화된 완전 연결 신경망의 예측을 대상으로 Adam 최적화기를 사용한 배치 경량 하강법으로 GP 대체 모델을 훈련한다. 신경망의 깊이(16 또는 32층)는 다양하게 설정된다.
• 세 번의 무작위 초기화에 대해 가장 높은 mLL를 기록한 설정을 선택하여 하이퍼파rameter 추론의 강건성을 확보한다.
• GP의 분석적 성질, 예를 들어 닫힌 형태의 주변 우도 및 한 개 포인트를 제외한 예측 분포를 활용하여, 영향력 분석 및 일반화 갭 분석에서 계산 비용을 줄인다.
• 샘플링을 시각화하고 주기성 및 깊이에 따른 행동 특성과 같은 구조적 특성을 반영하는 능력을 평가함으로써, 학습된 GP 사전분포와 신경망 사전분포를 비교한다.

실험 결과

연구 질문

• RQ1 데이터 기반 GP 대체 모델은 신경망의 스펙트럼 편향과 같은 알려진 현상을 포착할 수 있는가?
• RQ2 GP 대체 모델은 다양한 신경망 유형(예: ReLU 대비 사인파 신경망)의 사전 및 인도크티브 편향을 얼마나 잘 모델링할 수 있는가?
• RQ3 GP 대체 모델은 특정 신경망의 행동에 가장 큰 영향을 미치는 학습 데이터 포인트를 식별할 수 있는가?
• RQ4 GP 대체 모델은 주어진 데이터셋에서 어떤 신경망 아키텍처와 최적화 알고리즘이 잘 일반화될지를 예측할 수 있는가?
• RQ5 실제 신경망 행동을 포착하는 데 있어, GP 대체 모델은 이론적 무한 너비 극한과 비교하여 어떻게 성능을 내는가?

주요 결과

• 학습된 GP 대체 모델은 신경망의 스펙트럼 편향을 성공적으로 포착하였으며, 학습 반복 횟수가 증가할수록 커널 내 스펙트럼 주파수의 범위가 증가하는 경향을 보였고, 이는 이전 연구 결과와 일치한다.
• 대체 모델은 아키텍처의 차이를 반영한다: 32층 신경망은 더 짧은 길이 척도를 가진 더 빠르게 변하는 행동을 보이며, ReLU 신경망은 날카운 점근 근처에서 증가-감소 패턴을 보인다.
• 대체 모델은 다양한 신경망 유형의 사전 행동을 정확하게 모델링한다. 특히 사인파 신경망에서는 주기성이 나타나고, 활성화 패턴의 깊이에 따른 변화도 잘 반영된다.
• 한 개 포인트를 제외한 예측 분포를 활용하여, 재학습이 필요한 고비용 과정 없이도 영향력 있는 학습 데이터 포인트를 효율적으로 식별할 수 있다.
• 학습된 GP 커널의 구조와 하이퍼파rameter를 분석함으로써, 다양한 아키텍처와 데이터셋에서 일반화 성능을 예측할 수 있는 프레임워크를 제공한다.
• 비근사적 현상(예: 이상 초기화 효과)을 포착하는 데 있어, 이론적 무한 너비 유도보다 데이터 기반 접근 방식이 실용적인 유한 네트워크 행동을 더 잘 포착함을 입증하였다.