[論文レビュー] A Tropical Approach to Neural Networks with Piecewise Linear Activations

Vasileios Charisopoulos, Petros Maragos|arXiv (Cornell University)|May 22, 2018

Polynomial and algebraic computation参考文献 38被引用数 23

ひとこと要約

この論文は、ReLU や maxout などの区分線形活性化関数を備えたニューラルネットワークにおける線形領域の数を分析・上限付けるために、新規のトロピカル幾何学フレームワークを導入する。これらの活性化関数をトロピカル多項式としてモデル化し、線形領域をニュートン多面体の頂点に関連付けることで、min{2m, ∑ⱼ₌₀ⁿ (m choose j)} というより緊密な上限を導出する。さらに、高価な線形計画法を解かずに線形領域数を効率的に推定するための確率的サンプリングアルゴリズムを提案する。

ABSTRACT

We present a new, unifying approach following some recent developments on the complexity of neural networks with piecewise linear activations. We treat neural network layers with piecewise linear activations as tropical polynomials, which generalize polynomials in the so-called $(\max, +)$ or tropical algebra, with possibly real-valued exponents. Motivated by the discussion in (arXiv:1402.1869), this approach enables us to refine their upper bounds on linear regions of layers with ReLU or leaky ReLU activations to $\min\left\{ 2^m, \sum_{j=0}^n \binom{m}{j} ight\}$, where $n, m$ are the number of inputs and outputs, respectively. Additionally, we recover their upper bounds on maxout layers. Our work follows a novel path, exclusively under the lens of tropical geometry, which is independent of the improvements reported in (arXiv:1611.01491, arXiv:1711.02114). Finally, we present a geometric approach for effective counting of linear regions using random sampling in order to avoid the computational overhead of exact counting approaches

研究の動機と目的

• 区分線形ニューラルネットワークにおける線形領域の分析をトロピカル代数を用いて統一すること。
• ReLU および leaky ReLU ネットワークにおける線形領域数の既存の上限を改善すること。
• 同じトロピカルフレームワークを用いて maxout ネットワークへの分析を拡張すること。
• 1つのネットワーク層における線形領域数を計算的に効率的に近似する手法を開発すること。
• 混合整数プログラミングや線形プログラミングによる正確な数え上げの代わりに、幾何的でサンプリングに基づく代替手法を提供すること。

提案手法

• 実数の指数を許容する (max, +) 代数におけるトロピカル多項式として、区分線形活性化関数を備えたニューラルネットワーク層をモデル化すること。
• トロピカル多項式に関連するニュートン多面体の頂点と線形領域との間の全単射を確立すること。
• トロピカル多項式とそのニュートン多面体の双対性を用いて、線形領域数の上限を導出すること。
• ランダムな線形関数をサンプリングして、層出力のミンコフスキー和の極端な点（頂点）を特定する確率的アルゴリズムを提案すること。
• 凸多面体理論からの手法を適応し、関数の最小化を用いて頂点数を数えるが、確率的保証を伴う。
• 線形関数の第一成分が正である範囲に制限することで、ReLU や maxout 活性化関数に特に関連する上部ハルの頂点のみを数えるようにアルゴリズムを拡張すること。

実験結果

リサーチクエスチョン

• RQ1 トロピカル幾何学は、区分線形活性化関数を備えたニューラルネットワーク層における線形領域数をどのように特徴づけられるか？
• RQ2 このフレームワークを用いることで、ReLU および leaky ReLU ネットワークにおける線形領域数に対して、より緊密な上限を導出できるか？
• RQ3 同じアプローチを maxout ネットワークに適用し、既知の上限を再現できるか？
• RQ4 計算的に高価な最適化問題を解かずに、実際の応用において線形領域数をどのように効率的に近似できるか？
• RQ5 サンプリングに基づくアルゴリズムが線形領域数を数える際に、どのような確率的保証を提供できるか？

主な発見

• ReLU または leaky ReLU ネットワーク層における線形領域数は、入力数 n と出力数 m に対して min{2m, ∑ⱼ₌₀ⁿ (m choose j)} で上限づけられる。
• 提案されたトロピカルフレームワークは、対応するニュートン多面体を分析することで、maxout ネットワークの既知の上限を回復する。
• 確率的サンプリングアルゴリズムは、混合整数プログラミングや線形プログラミングの計算的負担を回避する実用的な代替手法を提供する。
• サンプル数が正規化錐の立体角に依存するため、ミンコフスキー和のすべての頂点を高確率で数えることが可能である。
• 上部ハルに関しては、サンプル数 K が K ≥ ˜N log(N/δ) を満たす限り、すべての頂点が高確率でカウントされると保証される。ここで ˜N は最小の正規化錐角度に依存する。
• 本手法は一般性を有し、ReLU ネットワークに限らず、トロピカル多項式として表現可能な任意の区分線形活性化関数に適用可能である。