[論文レビュー] Gaussian Process Surrogate Models for Neural Networks

Michael Y. Li, Erin Grant+1 more|arXiv (Cornell University)|Aug 11, 2022

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本論文は、無限幅極限からの解析的導出に頼らず、有限幅ニューラルネットワークの実測予測からカーネル関数を学習することで、ガウス過程（GP）の代替モデルを構築するデータ駆動型アプローチを提案する。この手法はスペクトルバイアスのような重要な現象を捉え、影響力のある学習データポイントの同定や一般化性能の予測といった実用的応用を可能にし、学習済みGPがニューラルネットワーク挙動の解釈可能で予測可能な代替モデルとして機能することを示している。

ABSTRACT

Not being able to understand and predict the behavior of deep learning systems makes it hard to decide what architecture and algorithm to use for a given problem. In science and engineering, modeling is a methodology used to understand complex systems whose internal processes are opaque. Modeling replaces a complex system with a simpler, more interpretable surrogate. Drawing inspiration from this, we construct a class of surrogate models for neural networks using Gaussian processes. Rather than deriving kernels for infinite neural networks, we learn kernels empirically from the naturalistic behavior of finite neural networks. We demonstrate our approach captures existing phenomena related to the spectral bias of neural networks, and then show that our surrogate models can be used to solve practical problems such as identifying which points most influence the behavior of specific neural networks and predicting which architectures and algorithms will generalize well for specific datasets.

研究の動機と目的

• 深層学習システムの解釈不能性と予測不能性の問題に取り組むこと、特に実世界の応用に導入された場合に顕著である。
• ニューラルネットワークをブラックボックスとして扱い、それらをより単純で解釈可能な代替モデルに置き換えるモデル化フレームワークを開発すること。
• 理論的極限や解析的導出に頼らず、有限ニューラルネットワークの実測予測からカーネル関数を経験的に学習すること。
• アーキテクチャやデータセットに跨る影響力のある学習データポイントの同定や一般化性能の予測といった実用的応用を可能にすること。
• GP代替モデルが既知の現象（例：スペクトルバイアス）を捉え、ニューラルネットワーク挙動を理解する包括的で解釈可能なフレームワークを提供できることを示すこと。

提案手法

• アンサンブルによる有限幅ニューラルネットワークの予測を用いて、ガウス過程（GP）の周辺対数尤度（mLL）を最適化することで、GP代替モデルのカーネルハイパーパrameterを学習する。
• スペクトル混合カーネル（SMK）を用い、Q=10の混合成分でGPの共分散関数をモデル化することで、ニューラルネットワーク予測に含まれる複雑なパターンを柔軟に表現可能にする。
• ReLUまたは正弦波活性化関数を用い、ランダムに初期化された全結合ネットワーク（50個）の予測を用いて、Adam最適化子を用いたバッチ勾配降下法によりGP代替モデルを訓練する。ネットワークの深さは16層または32層とする。
• 3回の異なる初期化において最高のmLLを示す設定を選択することで、ハイパーパramータ推定の堅牢性を確保する。
• GPの解析的性質（例：閉形式の周辺尤度、LOO予測分布）を活用し、影響力分析や一般化ギャップ解析における計算コストを低減する。
• サンプルの可視化と周期性や深さ依存挙動といった構造的性質の反映能力の評価を通じて、学習済みGP事前分布とニューラルネットワーク事前分布を比較する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型GP代替モデルは、ニューラルネットワークにおける既知の現象（例：スペクトルバイアス）を捉えることができるか？
• RQ2 GP代替モデルは、異なるニューラルネットワークファミリー（例：ReLU対正弦波ネットワーク）の事前分布およびインダクティブバイアスをどの程度正確にモデル化できるか？
• RQ3 GP代替モデルは、特定のニューラルネットワークの挙動に最も影響を与える学習データポイントを同定できるか？
• RQ4 GP代替モデルは、特定のデータセット上でどのニューラルネットワークアーキテクチャや最適化アルゴリズムが良好に一般化するかを予測できるか？
• RQ5 実世界のニューラルネットワーク挙動を捉える観点で、データ駆動型GP代替モデルは理論的無限幅極限と比較してどの程度優れているか？

主な発見

• 学習済みGP代替モデルはニューラルネットワークのスペクトルバイアスを効果的に捉えており、訓練イテレーションが進むにつれてカーネル内のスペクトル周波数の範囲が拡大する傾向を示しており、先行研究と整合的である。
• 代替モデルはアーキテクチャの違いを反映しており、32層ネットワークは短い長尺度でより急激に変化する挙動を示す一方、ReLUネットワークはカスプ付近で増加・減少のパターンを示す。
• 代替モデルは、正弦波ネットワークにおける周期性や活性化関数の深さ依存変化といった、異なるニューラルネットワークファミリーの事前挙動を正確にモデル化している。
• LOO予測分布を活用することで、再訓練にかかる高コストを回避しつつ、影響力のある学習データポイントを効率的に同定できる。
• 学習済みGPカーネル構造とハイパーパramータの分析を通じて、アーキテクチャやデータセットに跨る一般化性能を予測するフレームワークを提供している。
• 非漸近的現象（例：病理的初期化効果）を捉える観点で、データ駆動型アプローチは理論的無限幅導出を上回り、実用的有限ネットワーク挙動をより的確に捉えている。