[論文レビュー] Nearly-tight bounds on linear regions of piecewise linear neural networks

Qiang Hu, Hao Zhang|arXiv (Cornell University)|Oct 31, 2018

Advanced Memory and Neural Computing参考文献 14被引用数 4

ひとこと要約

この論文は、区分的線形ニューラルネットワーク（PLNN）における線形領域の数について、ほぼタイトな解析的境界を提供する。1層PLNNの正確な最大線形領域と、深層リLUネットワークのよりタイトな上限・下限境界を導出する。深さと非線形性が表現力に顕著に寄与することを示し、入力次元が固定された場合に、境界が深さに関して指数関数的に、ニューロン数と活性化部品数に関して多項式的に増加することを示す。

ABSTRACT

The developments of deep neural networks (DNN) in recent years have ushered a brand new era of artificial intelligence. DNNs are proved to be excellent in solving very complex problems, e.g., visual recognition and text understanding, to the extent of competing with or even surpassing people. Despite inspiring and encouraging success of DNNs, thorough theoretical analyses still lack to unravel the mystery of their magics. The design of DNN structure is dominated by empirical results in terms of network depth, number of neurons and activations. A few of remarkable works published recently in an attempt to interpret DNNs have established the first glimpses of their internal mechanisms. Nevertheless, research on exploring how DNNs operate is still at the initial stage with plenty of room for refinement. In this paper, we extend precedent research on neural networks with piecewise linear activations (PLNN) concerning linear regions bounds. We present (i) the exact maximal number of linear regions for single layer PLNNs; (ii) a upper bound for multi-layer PLNNs; and (iii) a tighter upper bound for the maximal number of liner regions on rectifier networks. The derived bounds also indirectly explain why deep models are more powerful than shallow counterparts, and how non-linearity of activation functions impacts on expressiveness of networks.

研究の動機と目的

• 1層の区分的線形ニューラルネットワーク（PLNN）における線形領域数の正確な最大境界を確立すること。
• 深層PLNNにおける線形領域数の上限を導出し、深さに伴い指数関数的に増加することを示すこと。
• 活性化パターンの幾何的制約を活用して、リLUネットワークにおける線形領域数の既存の上限・下限境界を改善すること。
• ネットワークの深さと活性化関数の非線形性が、深層PLNNの表現力にどのように統合的に影響するかを分析すること。

提案手法

• 隠れニューロン数と活性化部品数に基づき、1層PLNNにおける最大線形領域数の正確な漸近的表現を導出する。
• 層間の次元とアクティブなグループの関係を再帰的に用いて、活性化パターンが深層ネットワーク全体にどのように伝播するかをモデル化する。
• 最終層における活性化パターン数を計算するために、ハイパーサブスペースアレンジメントに関するZaslavskyの定理を適用する。
• 線形領域および活性化パターンの幾何的性質（例：すべてのニューロンが非アクティブな状態）に基づく制約を導入し、境界を精緻化する。
• 隠れ層の構成をグループごとのニューロン数に基づいて分類し、二項係数および累乗項を用いて領域数を計算する。
• 剰余項（例：r_rem^l）に基づく場合分けを考慮した再帰的定式化を用いて下限を提案する。

実験結果

リサーチクエスチョン

• RQ1 与えられたニューロン数と活性化部品数を持つ1層PLNNが達成可能な線形領域数の正確な最大値は何か？
• RQ2 深層PLNNにおいて、線形領域数は深さとともにどのようにスケーリングするか。また、最もタイトな可能な上限は何か？
• RQ3 活性化パターンの制約を考慮した場合、リLUネットワークにおける線形領域数の改善された上限・下限境界は何か？
• RQ4 線形領域の幾何的性質および非アクティブなニューロンパターンは、深層PLNNの表現力にどのように影響するか？
• RQ5 活性化関数の非線形性とネットワークの深さが、複雑な関数を表現するためのモデルの能力をどのように共同で決定するか？

主な発見

• 入力次元が固定された場合、1層PLNNにおける線形領域数の正確な最大値は、隠れニューロン数および活性化部品数に関して漸近的に多項式的に増加する。
• 深層PLNNにおける線形領域数の上限は、深さに伴い指数関数的に増加することを示し、深層ネットワークが浅層ネットワークよりも著しく表現力に優れていることを明らかにする。
• リLUネットワークにおいて、導出された上限と下限境界は、従来の結果よりも著しくタイトであり、特定の条件下では上限が下限に漸近的に近づく。
• 後続層の次元は、直前の層におけるアクティブなグループ数に依存し、二項係数および累乗項を用いた再帰的表現でモデル化される。
• すべてのニューロンが非アクティブな状態を含む活性化パターンがある場合、次の層の次元が低下する可能性があり、この点は再帰的定式化で明示的に扱われる。
• 最終層の領域数はZaslavskyの定理を用いて計算され、非アクティブなニューロンが存在する場合の活性化パターン数は二項係数として得られる。