[論文レビュー] Bounding and Counting Linear Regions of Deep Neural Networks

Thiago Serra, Christian Tjandraatmadja+1 more|arXiv (Cornell University)|Nov 6, 2017

Advanced Neural Network Applications参考文献 22被引用数 47

ひとこと要約

本稿では、深層ReLUおよびmaxoutネットワークにおける線形領域の最大数に関するよりきつい理論的上限を提示し、訓練済みネットワークにおけるこれらの領域の正確な数え上げのための混合整数線形計画法（MILP）定式化を導入し、入力次元がニューロン数を上回る場合に浅いネットワークが深いネットワークを上回る領域数を達成できることを示している—これにより、ネットワークの表現力と容量に関する新たな知見が得られた。

ABSTRACT

We investigate the complexity of deep neural networks (DNN) that represent piecewise linear (PWL) functions. In particular, we study the number of linear regions, i.e. pieces, that a PWL function represented by a DNN can attain, both theoretically and empirically. We present (i) tighter upper and lower bounds for the maximum number of linear regions on rectifier networks, which are exact for inputs of dimension one; (ii) a first upper bound for multi-layer maxout networks; and (iii) a first method to perform exact enumeration or counting of the number of regions by modeling the DNN with a mixed-integer linear formulation. These bounds come from leveraging the dimension of the space defining each linear region. The results also indicate that a deep rectifier network can only have more linear regions than every shallow counterpart with same number of neurons if that number exceeds the dimension of the input.

研究の動機と目的

• 分(piecewise linear, PWL)活性化関数を用いた深層ニューラルネットワーク（DNN）における線形領域の最大数に関する理論的上限を改善すること。
• 特にReLUおよびmaxoutアーキテクチャにおいて、訓練済みDNNにおける線形領域の正確な数え上げ手法の欠如に対処すること。
• ネットワークの深さ、幅、入力次元、およびそれらが生み出す線形領域数との関係を調査すること。
• 線形領域の数が一般化性能およびモデル容量と相関するかどうかを評価すること。
• 浅いネットワークが深いネットワークを上回る領域数を達成する条件を特定し、深さの利点に関する従来の仮定に疑問を呈すること。

提案手法

• 各領域を定義する空間の次元性を分析することで、深層ReLUネットワークにおける線形領域の最大数に関するよりきつい上界および下界を導出する。
• ReLUおよびmaxoutネットワークの区分線形挙動をモデル化するための混合整数線形計画法（MILP）定式化を導入し、線形領域の正確な列挙を可能にする。
• MILP定式化を用いて、2つの隠れ層に合計22ニューロンを有するMNISTデータセット上の小さな訓練済みReLUネットワークにおける線形領域の正確な数え上げを実施する。
• MILPアプローチを用いて、マルチレイヤーmaxoutネットワークにおける最初の上界を導出する。
• 1次元構成を用いて、入力次元が1の場合の正確な最大領域数を証明し、理論的上限を検証する。
• 高性能マシンを用いてCPLEXを用いて手法を検証し、複数のネットワーク構成における実行時間と領域数を測定する。

実験結果

リサーチクエスチョン

• RQ1 1次元入力において、深層ReLUネットワークにおける線形領域数の最もきつい上界および下界は何か？
• RQ2 訓練済みDNNにおける線形領域の正確な数え上げは可能か？ また、これにより理論的上限のきつさの評価がどのように向上するか？
• RQ3 入力次元がニューロン総数を上回る場合、浅いネットワークが同じ数のニューロンを有する深いネットワークを上回る領域数を達成する条件は何か？
• RQ4 実用的なDNNにおいて、線形領域の数はトレーニングおよびテスト性能とどのように相関するか？
• RQ5 マルチレイヤーmaxoutネットワークにおける線形領域数に関する最初の理論的上界は何か？

主な発見

• 提案されたReLUネットワークの上界は、先行研究よりもきついものであり、1次元入力において正確な結果が確認された。
• ReLUネットワークにおいては、入力次元がニューロン総数を上回る場合、浅いアーキテクチャが深いアーキテクチャよりも多くの線形領域を達成できる。
• マルチレイヤーmaxoutネットワークにおける最初の上界が導出され、この活性化関数クラスへの理論的分析が拡張された。
• MILPによる正確な数え上げにより、訓練済みMNISTネットワークにおける実際の領域数が、以前の理論的上界よりも顕著に低いことが明らかになった。これにより、よりきつい上界の必要性が裏付けられた。
• ボトルネック効果が観察された：初期層の幅を小さくすると、後続層の深さにかかわらず、線形領域の数が著しく制限される。
• 深さと領域数の間に非単調な関係が存在し、最適な深さはネットワークサイズに応じて増加し、入力次元に応じて減少する傾向がある。これは、深さをネットワークサイズおよび入力次元に応じて調整すべきであることを示唆している。