[論文レビュー] Is deeper better? It depends on locality of relevant features

T. Mori, Masahito Ueda|arXiv (Cornell University)|May 26, 2020

Neural Networks and Applications参考文献 5被引用数 4

ひとこと要約

この論文は、局所的およびグローバルなラベルを用いた抽象的分類タスクを用いて、過パラメータ化されたニューラルネットワークにおけるネットワークの深さが一般化に与える影響を調査する。局所的ラベルでは、カオス的信号伝播による特徴の局所性が生じるため、より深いネットワークが一般化性能を向上させるが、グローバルラベルでは浅いネットワークがより優れた性能を示す。これは、深さの利点が表現力そのものではなく、特徴の局所性に強く依存することを示している。

ABSTRACT

It has been recognized that a heavily overparameterized artificial neural network exhibits surprisingly good generalization performance in various machine-learning tasks. Recent theoretical studies have made attempts to unveil the mystery of the overparameterization. In most of those previous works, the overparameterization is achieved by increasing the width of the network, while the effect of increasing the depth has remained less well understood. In this work, we investigate the effect of increasing the depth within an overparameterized regime. To gain an insight into the advantage of depth, we introduce local and global labels as abstract but simple classification rules. It turns out that the locality of the relevant feature for a given classification rule plays a key role; our experimental results suggest that deeper is better for local labels, whereas shallower is better for global labels. We also compare the results of finite networks with those of the neural tangent kernel (NTK), which is equivalent to an infinitely wide network with a proper initialization and an infinitesimal learning rate. It is shown that the NTK does not correctly capture the depth dependence of the generalization performance, which indicates the importance of the feature learning rather than the lazy learning.

研究の動機と目的

• 過パラメータ化された領域において、より深いニューラルネットワークがなぜより良い一般化性能を示すのかを理解すること。
• 過パラメータ化されたネットワークにおいて、幅よりも深さに一般的利点があるかどうかを調査すること。
• 一般化の最適なネットワーク深さを決定づける要因としての特徴の局所性（局所的ラベル対グローバルラベル）の役割を検討すること。
• 有限幅のネットワークとニューラルタングエントロピー・カーネル（NTK）極限を比較し、ラージな学習が深さ依存の一般化を捉えられるかどうかを評価すること。
• 深層ネットワークにおけるカオス的信号伝播が、ランダムラベルの学習時でさえもより局所的な特徴を学習することにつながるかを調査すること。

提案手法

• 著者らは、ランダムな入力を用い、2種類のラベル（k-局所的：少数の入力成分によって決定される、k-グローバル：すべての成分の和によって決定される）を用いた抽象的分類タスクを定義する。
• N=10^4 個のサンプルを含むデータセットに対して、幅H=500で固定された全結合フィードフォワードネットワークをL=1からL=7までの異なる深さで学習し、学習率η=0.1、バッチサイズB=50のSGDを用いる。
• 一般化性能はテスト誤差で評価され、局所的安定性は、強度vの局所的摂動に対して安定なテストサンプルの割合s(v)として測定される。
• 本研究では、有限幅のネットワークとニューラルタングエントロピー・カーネル（NTK）極限（無限幅および無限小の学習率に対応）を比較し、ラージな学習（lazy learning）が深さ依存の一般化を捉えられるかを検証する。
• 局所的安定性は、個々の入力次元に沿って入力を摂動させ、ラベルの不変性を測定することで分析され、s(v)はその摂動に対する耐性を定量化する。
• 補足実験では、イジング模型を用いて、浅いネットワークがグローバルな熱力学的特徴の分類で深いネットワークを上回ることを確認した。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたニューラルネットワークにおいて、深さを増すことで一般化性能が向上するのか。もしそうなら、どのような条件下でそうなるのか？
• RQ2 関連する特徴の局所性（局所的対グローバル）が、一般化の最適なネットワーク深さにどのように影響するのか？
• RQ3 ニューラルタングエントロピー・カーネル（NTK）極限が、有限幅ネットワークにおける一般化の深さ依存性をどれほど正確に予測できるのか？
• RQ4 表現力が類似しているにもかかわらず、なぜより深いネットワークがより良い一般化性能を示すことがあるのか？
• RQ5 深層ネットワークにおけるカオス的信号伝播が、ランダムラベルの学習時でさえも、より局所的な特徴を学習することにつながるのか？

主な発見

• k-局所的ラベルでは、より深いネットワークが浅いネットワークよりも顕著に低い一般化誤差を達成しており、関連する特徴が局所的である場合に深さに明確な利点があることを示している。
• k-グローバルラベルでは、浅いネットワークがより深いネットワークよりも一般化性能に優れている。これは、深さが一貫して有益であるとは限らず、グローバル特徴学習では逆に有害である可能性があることを示している。
• ニューラルタングエントロピー・カーネル（NTK）極限は、一般化性能の深さ依存性を捉えていない。これは、有限幅ネットワークにおける一般化において、ラージな学習を超える特徴学習が不可欠であることを示している。
• ランダムラベルの学習でさえも、より深いネットワークが浅いネットワークよりも局所的な特徴を学習しており、摂動に対する局所的安定性s(v)が低いことから裏付けられている。
• 局所的安定性s(v)は、深層ネットワークにおいて浅層ネットワークよりも著しく低く、浅層ネットワークのs(v)はk-グローバルラベルとよく一致している。これは、浅層ネットワークがよりグローバルな表現を学習していることを示唆している。
• 実世界のテストとしてイジング模型を用いた実験では、浅いネットワークがグローバルな熱力学的特徴の分類において深いネットワークを上回り、物理的に意味のある文脈で本研究の結果が妥当であることが裏付けられた。