[論文レビュー] Tropical Geometry of Deep Neural Networks

Liwen Zhang, Gregory Naitzat+1 more|arXiv (Cornell University)|May 18, 2018

Polynomial and algebraic computation参考文献 16被引用数 32

ひとこと要約

この論文は、深層ReLUニューラルネットワークの区分的線形構造を分析するためのトロピカル幾何学フレームワークを導入し、各層の挙動がトロピカル有理写像に対応することを示している。主な貢献は、ゾノトープとミンコフスキー和を用いて導かれる、線形領域の数に対するタイトな上界であり、最大の領域数が層ごとの二項係数の積として成長することを明らかにしている。

ABSTRACT

We establish, for the first time, connections between feedforward neural networks with ReLU activation and tropical geometry --- we show that the family of such neural networks is equivalent to the family of tropical rational maps. Among other things, we deduce that feedforward ReLU neural networks with one hidden layer can be characterized by zonotopes, which serve as building blocks for deeper networks; we relate decision boundaries of such neural networks to tropical hypersurfaces, a major object of study in tropical geometry; and we prove that linear regions of such neural networks correspond to vertices of polytopes associated with tropical rational functions. An insight from our tropical formulation is that a deeper network is exponentially more expressive than a shallow network.

研究の動機と目的

• トロピカル代数を用いた幾何的フレームワークを構築し、深層ReLUニューラルネットワークの区分的線形構造を分析すること。
• トロピカル有理写像と多面体幾何学を用いて、深層ネットワーク内の線形領域の数を特徴づけること。
• 層ごとの組合せ論的性質に基づいて、深層ネットワーク内の線形領域の数に対する上界を導出すること。
• ニューラルネットワークのアーキテクチャとトロピカル凸幾何学（特にゾノトープとノイザーポリトープ）との間の関係を確立すること。
• トロピカル代数を用いた理論的基盤を提供し、深層ネットワークの表現能力と複雑さを理解すること

提案手法

• 活性化関数がトロピカル加法と乗法に対応するmax-plus代数を用いて、各ReLUニューラルネットワーク層をトロピカル有理写像として表現する。
• ニュートン多面体空間における線分のミンコフスキー和（ゾノトープ）を用いて、各層の出力をトロピカル多項式としてモデル化する。
• トロピカル有理写像の凸次数を用いて線形領域の数を定量化し、写像のニュートン多面体の頂点数として定義する。
• トロピカル累乗および多面体演算の性質を応用して、層の合成を重み付きミンコフスキー和によるゾノトープの合成に分解する。
• トロピカル有理写像のニュートン多面体が単項式の合成である場合にはゾノトープであることを活用し、組合せ論的数え上げを可能にする。
• 各層のニューロン数から得られる二項係数を用いて、線形領域の数に対する再帰的上界を導出する

実験結果

リサーチクエスチョン

• RQ1 トロピカル幾何学は、深層ReLUニューラルネットワークの区分的線形構造をどのようにモデル化・分析できるか？
• RQ2 深層ReLUネットワークが形成できる最大の線形領域数は何か？ これはアーキテクチャにどのように依存するか？
• RQ3 ゾノトープとミンコフスキー和の組合せ論的性質は、深層ネットワークの表現能力とどのように関係するか？
• RQ4 トロピカル代数と多面体幾何学を用いて、深層ネットワーク内の線形領域の数を上界で抑えられるか？
• RQ5 ニュートン多面体とその頂点は、ニューラルネットワークの区分的線形関数の複雑さを特徴付ける役割を果たすか？

主な発見

• 入力次元が $ d $ で、$ n_l $ 個のニューロンを持つ1層のReLU層における線形領域の数は、$ n_l \to d $ を仮定すると、$ \binom{n_l}{0} + \binom{n_l}{1} + \binom{n_l}{2} + \binom{n_l}{3} + \binom{n_l}{d} $ で抑えられる。
• $ L $ 層からなる深層ネットワークにおいて、全線形領域数の上界は、層ごとの二項係数の積として与えられる：$ \tilde{\nu}_c(\nu) \triangleq \tilde{\nu}_c(\nu^{(1)}) \times \tilde{\nu}_c(\nu^{(2)}) \times \tilde{\nu}_c(\nu^{(3)}) \times \tilde{\nu}_c(\nu^{(4)}) \times \tilde{\nu}_c(\nu^{(5)}) $、ここで各 $ \tilde{\nu}_c(\nu^{(l)}) \triangleq \tilde{\nu}_c(\nu^{(l-1)}) \times \binom{n_l}{0} + \binom{n_l}{1} + \binom{n_l}{2} + \binom{n_l}{3} + \binom{n_l}{d} $ である。
• ReLU層からなるトロピカル有理写像のニュートン多面体はゾノトープであり、写像に含まれる単項式に対応する線分のミンコフスキー和として表される。
• トロピカル有理写像の凸次数は、そのニュートン多面体の頂点数に等しく、これはネットワーク内の線形領域の数に対応する。
• ネットワークが一般位置にあり、すべてのニューロンが非退化の形で活性化されているという仮定の下で、線形領域数の上界はタイトである。
• 線形領域数の再帰的上界は、トロピカル写像の合成を通じて導出され、各層の複雑さが直前の層の複雑さを乗算する形で積み上げられる。