[論文レビュー] Dropout Rademacher Complexity of Deep Neural Networks

Wei Gao, Zhi‐Hua Zhou|arXiv (Cornell University)|Feb 16, 2014

Advanced Neural Network Applications参考文献 26被引用数 4

ひとこと要約

この論文は、深層ニューラルネットワークにおけるドロップアウトのラデマッハ複雑度を分析し、浅いネットワークではドロップアウトが複雑度を多項式的に低下させる一方で、深いネットワークでは指数関数的な低下を可能にすることを示している。主な貢献は、ドロップアウトが深層アーキテクチャにおいてモデルの複雑度を顕著に抑制することを理論的に示すフレームワークを確立したことである。これは、ドロップアウトが過学習を防ぐのに有効である理由を説明する。

ABSTRACT

Great successes of deep neural networks have been witnessed in various real applications. Many algorithmic and implementation techniques have been developed, however, theoretical understanding of many aspects of deep neural networks is far from clear. A particular interesting issue is the usefulness of dropout, which was motivated from the intuition of preventing complex co-adaptation of feature detectors. In this paper, we study the Rademacher complexity of different types of dropout, and our theoretical results disclose that for shallow neural networks (with one or none hidden layer) dropout is able to reduce the Rademacher complexity in polynomial, whereas for deep neural networks it can amazingly lead to an exponential reduction of the Rademacher complexity.

研究の動機と目的

• ドロップアウトが深層ニューラルネットワークのラデマッハ複雑度に与える影響を理論的に分析すること。
• ユニットドロップアウト、ウェイトドロップアウト、および統合ドロップアウトの3種類のドロップアウトの複雑度低減効果を比較すること。
• ドロップアウト率 ρ に関して、ラデマッハ複雑度が深層ネットワークで指数関数的にスケーリングすることを示すことにより、よりタイトな一般化バウンドを確立すること。
• 複雑度バウンドがパラメータ総数ではなく重みのノルムに依存することを示すことにより、より洗練された解析を提供すること。

提案手法

• ランダム化されたネットワーク上の経験的プロセスの期待上界を分析することで、ドロップアウトに対する一般化されたラデマッハ一般化バウンドを導出する。
• 層の数に関する帰納法を用いて、浅いアーキテクチャから出発し、深層ネットワークのラデマッハ複雑度をバウンドする。
• 活性化関数（例：ReLU）のリプシッツ連続性を用いて、隠れ層を通過する際の複雑度バウンドを伝搬する。
• ドロップアウトをモデル化するためのランダムマスク（r_i）を用いたネットワーク出力の再帰的分解を導入し、期待される複雑度の分析を可能にする。
• 重みのL1およびL2ノルムを用いたノルムベースのバウンドを採用することで、複雑度をパラメータ総数から分離する。
• 集中不等式およびラデマッハ・カオスの性質を活用して、経験的プロセスの期待上界をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトは、浅いニューラルネットワーク（0または1つの隠れ層を有する）のラデマッハ複雑度にどのように影響するか？
• RQ2 複数の隠れ層を有する深層ニューラルネットワークにおいて、ドロップアウトはラデマッハ複雑度にどのような影響を及ぼすか？
• RQ3 ドロップアウトは、ラデマッハ複雑度を指数関数的に低下させることができ、その場合の条件は何か？
• RQ4 ユニットドロップアウト、ウェイトドロップアウト、および統合ドロップアウトの3種類のドロップアウトは、複雑度低減の観点でどのように比較できるか？

主な発見

• 浅いニューラルネットワーク（0または1つの隠れ層）では、ドロップアウトによりラデマッハ複雑度が多項式的に低下し、具体的には k 個の隠れ層に対して O(ρ^{k+1}) または O(ρ^{(k+1)/2}) と表される。
• k 個の隠れ層を有する深層ニューラルネットワークでは、ドロップアウトによりラデマッハ複雑度が指数関数的に低下し、ドロップアウトの種別に応じて O(ρ^{k+1}) または O(ρ^{(k+1)/2}) とバウンドされる。
• ネットワークのラデマッハ複雑度は、L がリプシッツ定数、ρ がドロップアウト率、B_i が重みノルムであるとき、L^k * ρ^{(k+1)/2} * B * ∏B_i / √n に比例する項によってバウンドされる。
• 複雑度バウンドは、パラメータ総数ではなく、重みのL1またはL2ノルムに依存しており、これはドロップアウトがモデルサイズとは独立して複雑度を制御できることを示唆している。
• 理論的解析により、ドロップアウトが過学習を低減する有効性が、深層アーキテクチャにおける関数クラスの複雑度を顕著に低減できる能力に起因することが確認された。
• 本研究の結果は、従来の複雑度測定が正則化の恩恵を捉えきれない深層ネットワークにおいて、ドロップアウトが特に有効である理由を洗練された説明として提供する。