[論文レビュー] On architectural choices in deep learning: From network structure to gradient convergence and parameter estimation

Vamsi Krishna Ithapu, Sathya N. Ravi+1 more|arXiv (Cornell University)|Feb 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 5

ひとこと要約

本稿は、深層ニューラルネットワークのアーキテクチャ（深さ、幅、活性化関数、ドロップアウトやノイズ除去などの正則化手法を含む）と勾配収束、パラメータ推定の理論的枠組みを確立する。勾配の大きさに関する境界を導出し、最適な設計選択をガイドする。ネットワーク構造と正則化の間でトレードオフが可能であり、ドロップアウト率や学習率などの最適ハイパーパrameterの明示的式が得られる。

ABSTRACT

We study mechanisms to characterize how the asymptotic convergence of backpropagation in deep architectures, in general, is related to the network structure, and how it may be influenced by other design choices including activation type, denoising and dropout rate. We seek to analyze whether network architecture and input data statistics may guide the choices of learning parameters and vice versa. Given the broad applicability of deep architectures, this issue is interesting both from theoretical and a practical standpoint. Using properties of general nonconvex objectives (with first-order information), we first build the association between structural, distributional and learnability aspects of the network vis-à-vis their interaction with parameter convergence rates. We identify a nice relationship between feature denoising and dropout, and construct families of networks that achieve the same level of convergence. We then derive a workflow that provides systematic guidance regarding the choice of network sizes and learning parameters often mediated4 by input statistics. Our technical results are corroborated by an extensive set of evaluations, presented in this paper as well as independent empirical observations reported by other groups. We also perform experiments showing the practical implications of our framework for choosing the best fully-connected design for a given problem.

研究の動機と目的

• 深層ネットワークにおける深さ、幅、活性化関数、正則化（例：ドロップアウト、ノイズ除去）といったアーキテクチャ的選択が勾配収束とパラメータ推定に与える影響を理解すること。
• ネットワークアーキテクチャと入力データの統計的特性が、学習パrameterの選択を導くことができるか、逆にそれらがアーキテクチャ選択に影響を与えるかを調査すること。
• 入力統計と望ましい収束行動に基づいて、ネットワークサイズと学習パrameterの選択を体系的に行うワークフローを構築すること。
• ドロップアウトと特徴ノイズ除去の間の理論的関係を調査し、特定の設計条件下で同等の収束性能を達成できることを示すこと。
• 新しい学習タスクにおいて標準的なベンチマークが存在しない場合でも、パラメータ収束速度をアーキテクチャ選択の基準として用いる理論的根拠を提供すること。

提案手法

• 一般の非凸最適化の一次情報に基づき、深層ネットワークにおける勾配収束をモデル化し、勾配の期待二乗ノルムに関する境界を導出する。
• ネットワークの深さ $L$、層の幅 $d_l$、活性化関数、正則化（ドロップアウト率 $\theta$、ノイズ除去）を、$\mathbb{E}\|\nabla_{\mathbf{W}}\tilde{f}(\mathbf{W}^R)\|^2$ の境界を通じて収束速度に結びつける理論的枠組みを導入する。
• ネットワークの深さ、幅、データ統計に依存する最適ドロップアウト率 $\zeta$ の閉形式表現を導出する。$N$（サンプルサイズ）、$B$（ミニバッチサイズ）、層の次元を含む項をバランスさせる。
• 特定の制約 $\zeta\alpha_l d_{l-1}d_ld_{l+1}$ を満たす場合、異なるネットワーク設計（例：深さや幅の異なるもの）が同等の収束速度を達成できることを示し、等価なアーキテクチャの体系的探索を可能にする。
• 深さが異なる二つのネットワーク $\mathcal{D}_s$ と $\mathcal{D}_t$ を比較し、$\mathcal{D}_t$ が $\mathcal{D}_s$ と同等の収束速度を達成するための条件を導出する。
• 境界式 $\mathbb{E}\|\nabla_{\mathbf{W}}\tilde{f}(\mathbf{W}^R)\|^2 \lesssim \frac{1}{e^{m}_{\gamma}\zeta^{2}}\left(\frac{d_L}{N} + \frac{13d^{2}\gamma^{2}}{256B}\right) + \frac{\zeta\alpha\gamma w}{4e^{m}_{\gamma}B}(d_0d^{2} + (L-3)d^{3} + d^{2}d_L)$ を用いて、最適ハイパーパrameterを導出する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの深さ、幅、活性化関数、正則化が、入力から出力へのマッピングの複雑さと収束速度に与える影響を明示的に計算できるか？
• RQ2 ドロップアウトと特徴ノイズ除去の間には理論的関係があるか？また、同じ収束性能を達成するために互換的に使用できるか？
• RQ3 ネットワークアーキテクチャの選択と入力データの統計的特性が、学習率やドロップアウト率といった学習パrameterの最適選択にどのように統合的に影響を与えるか？
• RQ4 パラメータ収束速度は、新しい学習タスクにおいて、最良の全結合深層ネットワークアーキテクチャを選択するための信頼できる基準として機能するか？
• RQ5 非線形関数の形が与えられた場合、特定のデータ統計に対して学習可能であることを保証するアーキテクチャ的構成は存在するか？

主な発見

• 最適ドロップアウト率 $\zeta$ の閉形式表現が $\text{median}\left\{0, \sqrt[3]{\frac{C_1}{C_2}}, 1\right\}$ として導出され、$C_1 = \frac{d_L}{N} + \frac{13d^2\gamma^2}{256B}$ および $C_2 = \frac{\alpha\gamma w}{4B}(d_0d^2 + (L-3)d^3 + d^2d_L)$ である。この式は勾配の分散と収束速度のバランスをとる。
• 異なるアーキテクチャ（例：深さや幅が異なるもの）が $\zeta\alpha_l d_{l-1}d_ld_{l+1} = \frac{1}{\Psi_l}$ および $\frac{d_L}{\zeta^2} = \frac{1}{\Psi_f}$ を満たす場合、同等の収束速度を達成でき、等価なアーキテクチャの体系的設計が可能になる。
• この枠組みにより、特徴ノイズ除去とドロップアウトは理論的に関連していることが示された。両者とも同じ収束境界を達成できるように調整可能であり、特定の状況ではノイズ除去をドロップアウトの代替として使用できることが示唆される。
• 深さが異なる二つのネットワーク $\mathcal{D}_s$ と $\mathcal{D}_t$ に対して、$L_t \leq L_s + 3\delta_{st}(L_s - 3) + \delta_{st}(1 + \delta_{st})^2\left(\frac{e^{m}_L}{\alpha\zeta^2 e^{m}_2} + \frac{e^{m}_{L-1}}{\zeta e^{m}_2} + \frac{e^{m}_1}{e^{m}_2}\right)$ が成り立つと、$\mathcal{D}_t$ は $\mathcal{D}_s$ と同等の収束速度を達成する。
• 導出された境界式 $\mathbb{E}\|\nabla_{\mathbf{W}}\tilde{f}(\mathbf{W}^R)\|^2 \lesssim \frac{1}{e^{m}_{\gamma}\zeta^{2}}\left(\frac{d_L}{N} + \frac{13d^{2}\gamma^{2}}{256B}\right) + \frac{\zeta\alpha\gamma w}{4e^{m}_{\gamma}B}(d_0d^{2} + (L-3)d^{3} + d^{2}d_L)$ は、ハイパーパrameter選択の定量的ツールを提供する。
• 実験的検証および他の研究グループによる独立的な観察結果が、理論的予測を裏付け、新規タスクにおける最適な全結合ネットワーク設計の選定において実用的有用性を示している。