[論文レビュー] An Analysis of the Expressiveness of Deep Neural Network Architectures Based on Their Lipschitz Constants

Siqi Zhou, Angela P. Schoellig|arXiv (Cornell University)|Dec 24, 2019

Neural Networks and Applications参考文献 18被引用数 6

ひとこと要約

本稿では、深層ニューラルネットワーク（DNN）の表現力の分析にリプシッツ定数を用いることを提案し、ランダム行列理論を用いて、重みが十分に散らばっている場合、リプシッツ定数（したがって表現力）が深さに指数関数的に、幅に多項式的に増加することを示している。主な貢献は、活性化関数に依存しない理論的・一般化可能な表現力の測定法であり、安定な学習ベースの制御システムの設計に応用可能である。

ABSTRACT

Deep neural networks (DNNs) have emerged as a popular mathematical tool for function approximation due to their capability of modelling highly nonlinear functions. Their applications range from image classification and natural language processing to learning-based control. Despite their empirical successes, there is still a lack of theoretical understanding of the representative power of such deep architectures. In this work, we provide a theoretical analysis of the expressiveness of fully-connected, feedforward DNNs with 1-Lipschitz activation functions. In particular, we characterize the expressiveness of a DNN by its Lipchitz constant. By leveraging random matrix theory, we show that, given sufficiently large and randomly distributed weights, the expected upper and lower bounds of the Lipschitz constant of a DNN and hence their expressiveness increase exponentially with depth and polynomially with width, which gives rise to the benefit of the depth of DNN architectures for efficient function approximation. This observation is consistent with established results based on alternative expressiveness measures of DNNs. In contrast to most of the existing work, our analysis based on the Lipschitz properties of DNNs is applicable to a wider range of activation nonlinearities and potentially allows us to make sensible comparisons between the complexity of a DNN and the function to be approximated by the DNN. We consider this work to be a step towards understanding the expressive power of DNNs and towards designing appropriate deep architectures for practical applications such as system control.

研究の動機と目的

• 異なる活性化関数に一般化可能な、一般的で解釈可能なDNN表現力の測定法の開発。
• 全結合フィードフォワードDNNのリプシッツ定数が、アーキテクチャの深さと幅にどのように影響を受けるかの理解。
• リプシッツに基づく分析を通じて、DNNの表現力と学習ベースの制御システムの安定性との関連の確立。
• 理論的解析においてガウス分布を仮定する重み行列の妥当性が、実際のDNNにおいてどの程度成立するかの評価。
• システム制御のような安全が求められる応用分野におけるDNNアーキテクチャ設計のためのガイドラインの提供。

提案手法

• 著者らは、1-リプシッツ活性化関数とi.i.d.ガウス重み行列を用いて全結合DNNをモデル化する。
• ランダム行列理論を適用して、DNNのリプシッツ定数の期待上界および下界を導出する。
• 極値特異値のバイ・イン法則を活用し、重み行列のノルムを推定する。
• リプシッツ定数は、リャプノフ方程式の解を用いて境界化され、ネットワークの安定性とアーキテクチャ的性質を結びつける。
• 50個のDNNを1アーキテクチャあたりサンプリングし、i.i.d.ガウス重みを用いて安定性の確率を測定することで、実験的妥当性を検証する。
• 理論的近似値を、訓練済みネットワークの真の特異値と比較し、ガウス仮定の頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ランダム重み初期化下で、DNNのリプシッツ定数は深さと幅にどのようにスケーリングするか？
• RQ2 リプシッツ定数は、さまざまな活性化関数に一般化可能な、解釈可能なDNN表現力の測定法として機能できるか？
• RQ3 リプシッツ定数は、学習ベースの制御システムの安定性とどのように関連するか？
• RQ4 理論的近似において、重み行列のガウス仮定は、実際のDNNにおいてどの程度妥当であるか？
• RQ5 制御応用におけるリプシッツに基づく表現力解析から、どのようなDNN設計原則を導出できるか？

主な発見

• 重みが十分に散らばっている場合、DNNの期待リプシッツ定数は深さに指数関数的に、幅に多項式的に増加する。
• 300ニューロンの1層隠れ層を有するDNNでは、リプシッツ定数の推定上界が安全な安定性閾値未満であり、システムの安定性が保証される。
• 深さが増し、幅が減少するにつれ、リプシッツ定数が増加し、システム安定性の確率が低下する。10×30アーキテクチャでは安定性確率はわずか32%にとどまる。
• ガウス仮定に基づく最大特異値の理論的推定値は、訓練済みネットワークの真の値とよく一致しており、誤差は$O(\sigma_w\sqrt{n})$のオーダーである。
• リプシッツに基づく表現力測定法は一般化可能であり、DNNの複雑さと近似対象関数との間で意味のある比較を可能にする。
• 本分析は、深さを効率的な関数近似のための主要因とするという、代替測定法を用いた先行研究と整合する。