[論文レビュー] An Information-Theoretic View for Deep Learning

Jingwei Zhang, Tongliang Liu+1 more|arXiv (Cornell University)|Apr 24, 2018

Machine Learning and Algorithms参考文献 20被引用数 21

ひとこと要約

本稿では、深層学習の一般化を分析する情報理論的枠組みを提示する。期待一般化誤差は、情報損失層（例：畳み込み層やプーリング層）の数が増えるにつれて指数関数的に減少することが示され、これは訓練データとモデル重みの間の相互情報量が減少するためである。主な貢献は、一般化誤差のタイトな上界を提示することで、深層ネットワークが過学習のリスクが高まるにもかかわらず、一般化性能が優れている理由を説明している点である。

ABSTRACT

Deep learning has transformed computer vision, natural language processing, and speech recognition\cite{badrinarayanan2017segnet, dong2016image, ren2017faster, ji20133d}. However, two critical questions remain obscure: (1) why do deep neural networks generalize better than shallow networks; and (2) does it always hold that a deeper network leads to better performance? Specifically, letting $L$ be the number of convolutional and pooling layers in a deep neural network, and $n$ be the size of the training sample, we derive an upper bound on the expected generalization error for this network, i.e., \begin{eqnarray*} \mathbb{E}[R(W)-R_S(W)] \leq \exp{\left(-\frac{L}{2}\log{\frac{1}η} ight)}\sqrt{\frac{2σ^2}{n}I(S,W) } \end{eqnarray*} where $σ>0$ is a constant depending on the loss function, $0

研究の動機と目的

• 深層ニューラルネットワークが高容量であるにもかかわらず、浅層ネットワークよりも一般化性能が優れている理論的説明を提供すること。
• 深層ネットワークが常に優れた性能を示すかどうかを検証し、「深くすればよい」というヒューリスティックに疑問を呈すること。
• 相互情報量を用いて、層内の情報損失と一般化誤差の間の関係を確立すること。
• 情報理論的原則に基づいた深層学習の安定性とサンプル複雑度を分析すること。
• 深層アーキテクチャにおける一般化と訓練誤差のトレードオフを理解する理論的基盤を提供すること。

提案手法

• 訓練データSと学習された仮説Wの間の相互情報量I(S, W)を用いて、期待一般化誤差の上界を導出する。
• 情報減少をモデル化する層ごとの情報損失要因η < 1を導入する。
• 集中不等式と情報理論的境界を適用し、一般化誤差をネットワークの深さLとデータサイズnに関連付ける。
• 深層ネットワークのマルコフ連鎖構造を用いて、情報損失を層ごとに伝播させ、一般化誤差の指数的減衰を導出する。
• 一般化性能と関連付ける「平均1つ置換仮説安定性」という弱い安定性の概念を確立する。
• ノイズ付きSGDとバイナリ分類の下で学習可能性を分析し、サンプル複雑度の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 高容量であるにもかかわらず、なぜ深層ニューラルネットワークは浅層ネットワークよりも一般化性能が優れているのか？
• RQ2 ネットワークの深さを増やすことで一般化性能が常に向上するのか、それとも訓練誤差とのトレードオフがあるのか？
• RQ3 畳み込み層やプーリング層における情報損失は、期待一般化誤差にどのように影響するのか？
• RQ4 情報理論的原則に基づいて、深層学習が何らかの形のアルゴリズム的安定性を満たすことを示せるか？
• RQ5 ノイズ付きSGDおよびバイナリ分類の下で、深層学習のサンプル複雑度は何か？また、深さに伴いどのようにスケーリングされるか？

主な発見

• 期待一般化誤差は、情報損失層の数に伴い指数関数的に減少し、exp(−(L/2) log(1/η)) × √(2σ²/n × I(S,W)) で上限が与えられる。
• 畳み込みやプーリングなどの層における情報損失は、一般化誤差を低減させ、深層アーキテクチャの成功の理論的根拠を提供する。
• 一般化誤差が小さくても、情報損失がデータ適合性を損なうと、期待される経験的リスクが大きくなるため、「深くすればよい」が成立するのは、訓練誤差が低い場合に限る。
• 深層学習は「平均1つ置換仮説安定性」という弱い安定性の概念を満たしており、1サンプルの摂動に対してロバストであることを示唆する。
• ノイズ付きSGDの下では、深層学習のサンプル複雑度はO(1/√n)で、バイナリ分類では複雑度が˜O(√(d̂/n))で学習可能である。
• 相互情報量I(S,W)は、ネットワークの深さ、一般化、アルゴリズム的安定性を結ぶ重要な制御変数である。