[論文レビュー] Random deep neural networks are biased towards simple functions

Giacomo De Palma, Bobak T. Kiani+1 more|arXiv (Cornell University)|Dec 25, 2018

Machine Learning and Algorithms被引用数 30

ひとこと要約

この論文は、ReLU活性化関数を用いたランダムな深層ニューラルネットワークが、入力の摂動に対して高い耐性を示すため、ビット列の単純な2値分類器に偏っていることを証明している。平均して、異なる分類結果を示す近い入力までのハミング距離は √(n/(2π ln n)) に比例して増加し、分類を変えるために必要なランダムなビット反転の平均数は n に線形に比例する。これは、深層学習の一般化成功の理論的基盤を提供し、ランダムネットワークが単純で安定した関数を好む傾向にあることを示している。

ABSTRACT

We prove that the binary classifiers of bit strings generated by random wide deep neural networks with ReLU activation function are biased towards simple functions. The simplicity is captured by the following two properties. For any given input bit string, the average Hamming distance of the closest input bit string with a different classification is at least sqrt(n / (2π log n)), where n is the length of the string. Moreover, if the bits of the initial string are flipped randomly, the average number of flips required to change the classification grows linearly with n. These results are confirmed by numerical experiments on deep neural networks with two hidden layers, and settle the conjecture stating that random deep neural networks are biased towards simple functions. This conjecture was proposed and numerically explored in [Valle Pérez et al., ICLR 2019] to explain the unreasonably good generalization properties of deep learning algorithms. The probability distribution of the functions generated by random deep neural networks is a good choice for the prior probability distribution in the PAC-Bayesian generalization bounds. Our results constitute a fundamental step forward in the characterization of this distribution, therefore contributing to the understanding of the generalization properties of deep learning algorithms.

研究の動機と目的

• ランダムな深層ニューラルネットワークが単純な関数に偏っていることを厳密に確立し、深層学習理論における長年の予想を解消すること。
• ハミング距離やビット反転耐性といった情報理論的および幾何的測度を用いて、ランダムな深層ネットワークの関数的単純性を特徴づけること。
• ランダムな深層ネットワークが生成する関数の分布を、PACベイジアン一般化境界における事前分布として使用する理論的根拠を提供すること。
• 高容量にもかかわらず深層学習がうまく一般化する理由を、ランダムネットワークが本質的に単純で安定した関数を好むことによって解明すること。

提案手法

• ガウス過程近似と極値統計を用いて、異なる分類結果を示す近い入力までの期待ハミング距離を解析的に導出する。
• ReLU活性化関数とランダム重み初期化に基づく共分散関数を有するガウス過程としてネットワーク出力をモデル化する。
• カルバック・ライブラー発散とPACベイジアンフレームワークを用いて、ランダムネットワークが生成する関数の事前分布を形式化する。
• コルモゴロフ連続性定理を適用して、極限ガウス過程の連続性を証明し、ゼロ交差時間の解析を可能にする。
• 2層の隠れ層を有するネットワークにおける数値実験を通じて、ハミング距離およびビット反転耐性に関する理論的予測の妥当性を検証する。
• ヒューリスティックおよび正確な探索アルゴリズムを用いて、実験的評価において異なる分類結果を示す最近接入力を計算する。

実験結果

リサーチクエスチョン

• RQ1 ReLU活性化関数を用いたランダムな深層ニューラルネットワークは、先行研究で予想されたように単純な関数に偏っているか？
• RQ2 ランダムな深層ネットワークにおいて、ランダムな入力ビット列から異なる分類結果を示す最近接入力までの典型的なハミング距離は何か？
• RQ3 ランダムな深層ネットワークにおいて、分類を変えるために必要なランダムビット反転の平均数は、入力長 n に対してどのようにスケーリングされるか？
• RQ4 ハミング距離や摂動に対する耐性といった幾何的・確率的測度を用いて、ランダムな深層ネットワークの関数的単純性を定量化できるか？
• RQ5 ランダムな深層ネットワークが生成する関数の分布は、PACベイジアン一般化境界における適切な事前分布として適しているか？

主な発見

• n が十分に大きい場合、異なる分類結果を示す最近接入力までの平均ハミング距離は √(n/(2π ln n)) 以上であり、入力変更に対して高い耐性を示していることが示された。
• 分類を変えるために必要なランダムビット反転の平均数は n に線形に増加し、シミュレーションでは約 n/3 のスケーリングが観察され、n/4 の下界をはるかに上回っている。
• 一方、一様にランダムな2値分類器では平均ハミング距離は1であり、分類を変えるためにたった2回のランダムビット反転で十分であるため、複雑さの根本的な差が浮き彫りになった。
• 理論的分析により、ランダムな深層ネットワークが本質的に単純で安定した関数を生成することが確認され、単純性への偏りの予想が裏付けられた。
• ReLU活性化関数を用いた2層隠れ層ネットワークにおける数値実験により、さまざまな入力サイズおよびネットワークインスタンスにおいて理論的予測が妥当であることが検証された。
• ランダムな深層ネットワークが生成する関数の確率分布は、その本質的な単純さと耐性の高さから、PACベイジアン一般化境界における事前分布として強い候補であることが示された。