[論文レビュー] Sharp bounds for the number of regions of maxout networks and vertices of Minkowski sums

Guido Montúfar, Yue Ren+1 more|arXiv (Cornell University)|Apr 16, 2021

Polynomial and algebraic computation参考文献 52被引用数 4

ひとこと要約

この論文は、maxoutニューラルネットワークにおける線形領域の数に対する鋭い上界を確立し、それを多面体のミンコフスキー和の頂点およびトロピカル超曲面配置と結びつける。組合せ幾何学およびトロピカル代数的技法を用いて、浅いおよび深いmaxoutネットワークの両方について正確な公式とタイトな境界を導出する。これは従来の推定値を著しく改善し、超平面配置および多面体論との中間的関係を明らかにする。

ABSTRACT

We present results on the number of linear regions of the functions that can be represented by artificial feedforward neural networks with maxout units. A rank-k maxout unit is a function computing the maximum of $k$ linear functions. For networks with a single layer of maxout units, the linear regions correspond to the upper vertices of a Minkowski sum of polytopes. We obtain face counting formulas in terms of the intersection posets of tropical hypersurfaces or the number of upper faces of partial Minkowski sums, along with explicit sharp upper bounds for the number of regions for any input dimension, any number of units, and any ranks, in the cases with and without biases. Based on these results we also obtain asymptotically sharp upper bounds for networks with multiple layers.

研究の動機と目的

• 任意の入力次元、ユニット数、ランクを有する浅いmaxoutネットワークにおける線形領域の最大数を特定すること。
• バイアス有無の両ケースについて、領域数の明示的上界を導出すること。
• maxoutネットワークの領域と、対応する多面体のミンコフスキー和の上位頂点との間の関係を確立すること。
• 再帰的合成を用いて、これらの境界を深いmaxoutネットワークに拡張すること。
• 交差ポセットおよび部分配置に基づく、maxout配置の面数の数え上げ公式を開発すること。

提案手法

• 幾何的対応（命題2.7）を通じて、maxoutネットワークの線形領域を多面体のミンコフスキー和の上位頂点に写像する。
• トロピカル幾何学を用いて、maxoutユニットの非線形的領域をトロピカル超曲面としてモデル化する。
• 交差ポセットに対する包含除外原理を用いて、配置の領域数を数える。
• 一般位置における部分配置およびミンコフスキー部分和を通じて、面数の公式を導出する。
• ミンコフスキー和の上位頂点数をバウンドするための上界定理を活用する。
• 浅いネットワークの結果を、層ごとの境界を漸近的に合成することで深いネットワークへと拡張する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャが与えられた浅いmaxoutネットワークが表現できる線形領域の最大数は何か？
• RQ2 バイアスはmaxoutネットワークの線形領域数にどのように影響するか？両ケースにおいて鋭い境界を導出可能か？
• RQ3 maxout配置の領域数と、多面体のミンコフスキー和の上位頂点数との関係は何か？
• RQ4 浅いネットワークの結果に基づき、深いmaxoutネットワークに対してタイトな漸近的境界を確立可能か？
• RQ5 maxout配置の任意の次元の面数を表す明示的公式は何か？

主な発見

• 本論文は、任意の入力次元、ユニット数、ランクを有する浅いmaxoutネットワークにおける線形領域数について、鋭い上界を提供する。これはバイアス有無の両ケースに適用可能である。
• 浅いmaxoutネットワークにおいて、領域数はユニットの部分集合ごとの和によって上界が与えられ、部分配置とその一般形との間の領域数の差が関与する。
• maxoutレイヤーにおける最大領域数は、対応する多面体のミンコフスキー和の上位頂点数に正確に一致する。
• 深いmaxoutネットワークについて、境界は漸近的にタイトであり、従来の推定値を著しく改善する。
• 一般位置におけるミンコフスキー和について、厳密な下位頂点数（有界領域に対応）の下界が導出される。
• 結果として、maxoutネットワークの組合せ論とトロピカル超曲面配置および多面体ミンコフスキー和の理論との間の明確な関係が確立される。