[論文レビュー] Information in Infinite Ensembles of Infinitely-Wide Neural Networks

Ravid Shwartz-Ziv, Alexander A. Alemi|arXiv (Cornell University)|Nov 20, 2019

Neural Networks and Applications参考文献 16被引用数 8

ひとこと要約

この論文は、取り扱い可能な情報理論的分析を用いて、無限に広いニューラルネットワークの無限集合における一般化を研究している。パラメータとデータ間の相互情報量が発散する（PAC-Bayesの境界を無意味にする）一方で、代表表現-入力および代表表現-ターゲットの相互情報量といった主要な量は有限であり、解析可能であることが示され、集合平均が入力情報の圧縮を実現し、情報平面における最適なトレードオフを可能にしていることが明らかになった。

ABSTRACT

In this preliminary work, we study the generalization properties of infinite ensembles of infinitely-wide neural networks. Amazingly, this model family admits tractable calculations for many information-theoretic quantities. We report analytical and empirical investigations in the search for signals that correlate with generalization.

研究の動機と目的

• 無限に広いニューラルネットワークにおける一般化を、情報理論的視点から理解すること。
• 取り扱い可能な情報理論的量が、無限集合における一般化性能を示す兆候となるかどうかを調査すること。
• 無限幅極限における、代表表現、入力、ターゲット、パラメータ間の相互情報量の挙動を分析すること。
• この状態下でPAC-Bayes風の一般化境界の有効性を評価すること。
• 勾配フロー下でのパラメータ軌道の情報幾何を調査すること。

提案手法

• 平方損失を用いて勾配フローで学習される、無限に広いニューラルネットワークの無限集合をモデル化する。
• ネットワークのダイナミクスを記述するためにニューラルタングエント・カーネル（NTK）形式を用い、出力分布を条件付きガウス分布として閉形式で計算可能にする。
• 相互情報量の解析的表現を導出：I(Z;Y)、I(Z;X|D)、I(Z;D|X)、およびI(Θ;D)。
• 変分境界と変数変換の公式を用いて、パラメータとデータ間の相互情報量を推定する。
• NTKと初期重みの共分散を用いて、パラメータ空間におけるフィッシャー情報計量とパラメータ軌道長を計算する。
• ガウス過程と線形代数の技術を用いて、確率的初期化の期待値を計算する。

実験結果

リサーチクエスチョン

• RQ1 無限に広いネットワークの無限集合において、相互情報量のような情報理論的量を解析的に計算できるか？
• RQ2 これらの量は、無限幅極限における一般化性能と相関するか？
• RQ3 良好な一般化が見られるにもかかわらず、なぜPAC-Bayesの境界がこの状態で失敗するのか？
• RQ4 集合平均は、個々のネットワークと比較して、入力情報をどの程度圧縮しているか？
• RQ5 パラメータ空間におけるパラメータ軌道長と情報幾何の挙動はいかなるものか？

主な発見

• 訓練時間がある程度に達するまで、ネットワーク出力と入力間の相互情報量I(Z;X|D)は有限かつ小さく保たれ、集合による入力情報の効果的圧縮を示している。
• 代表表現とターゲット間の相互情報量I(Z;Y)は、ガウス分布データにおいてほぼ最適な性能を達成し、理論的な情報ボトルネック境界に近づく。
• パラメータとデータ間の相互情報量I(Θ;D)は、訓練時間が増加するにつれて発散し、標準的なPAC-Bayes一般化境界が無意味になる。
• フィッシャー情報計量はパラメータ空間で一定かつ平坦であり、無限の訓練時間にもかかわらず、パラメータ空間における軌道長は有限である。
• 集合の出力分布は条件付きガウス分布であり、すべての主要な情報理論的量を閉形式で計算可能である。
• ReLUおよびErfネットワークでは、初期重み分散が小さい場合に過学習が観察され、Erf非線形性ではテスト損失の発散がより顕著になる。