[論文レビュー] Principled Deep Neural Network Training through Linear Programming

Daniel Bienstock, Gonzalo Muñoz+1 more|arXiv (Cornell University)|Oct 7, 2018

Machine Learning and Algorithms被引用数 11

ひとこと要約

この論文は、与えられた深層ニューラルネットワークアーキテクチャ、活性化関数、損失関数、およびサンプルサイズに対して、すべての可能な経験的リスク最小化問題を1つのポリトープに符号化する多面体フレームワークを導入する。主な結果は、このポリトープのサイズがサンプルサイズに線形に増加することであり、これにより深層ネットワークの線形計画法による学習のための新たな理論的知見と、計算複雑性の改善された境界が得られる。

ABSTRACT

Deep learning has received much attention lately due to the impressive empirical performance achieved by training algorithms. Consequently, a need for a better theoretical understanding of these problems has become more evident in recent years. In this work, using a unified framework, we show that there exists a polyhedron which encodes simultaneously all possible deep neural network training problems that can arise from a given architecture, activation functions, loss function, and sample-size. Notably, the size of the polyhedral representation depends only linearly on the sample-size, and a better dependency on several other network parameters is unlikely (assuming $P eq NP$). Additionally, we use our polyhedral representation to obtain new and better computational complexity results for training problems of well-known neural network architectures. Our results provide a new perspective on training problems through the lens of polyhedral theory and reveal a strong structure arising from these problems.

研究の動機と目的

• 深層ニューラルネットワーク学習の計算複雑性を分析する統一的な理論的枠組みを構築すること。
• 固定されたアーキテクチャとサンプルサイズに対して、すべての経験的リスク最小化問題が1つのポリトープに符号化可能であることを示すこと。
• このポリトープのサイズが、入力およびパラメータ次元の指数的依存とは対照的に、サンプルサイズに対して線形に依存することを確立すること。
• この多面体表現を用いて、深層ネットワークの学習における計算複雑性の改善された境界を導出すること。
• 線形計画法の解を用いた一般化リスクへの近似に関する理論的保証を提供すること。

提案手法

• ネットワークアーキテクチャ、活性化関数、損失関数から導かれる多面体集合上での経験的リスク最小化（ERM）問題の線形計画法としての定式化。
• アーキテクチャとサンプルサイズに対して、すべての可能な ERM 問題を符号化するデータに依存しないポリトープを構築し、そのサイズがサンプルサイズ D に対して線形に増加することを示す。
• 多面体理論を用いて符号化の面構造を分析し、トレーニングの結果をポリトープの幾何的特徴と関連付ける。
• 線形計画法の技術を応用して、一般化リスクの近似保証を導出し、サンプル複雑性の境界を付与する。
• 既知の線形計画法および凸解析の結果を活用し、（例：有界な重み、リプシッツ連続な損失関数など）さまざまな仮定下での複雑性境界を導出する。
• 得られたアルゴリズム的複雑性を、特に深さ k、幅 w、近似誤差 ϵ に依存する点で、先行研究と比較する。

実験結果

リサーチクエスチョン

• RQ1 固定された深層ニューラルネットワークアーキテクチャとサンプルサイズに対して、すべての経験的リスク最小化問題を1つの多面体表現に符号化できるか？
• RQ2 この多面体符号化のサイズは、サンプルサイズ D、ネットワークの深さ k、幅 w、入力／出力次元に対してどのようにスケーリングされるか？
• RQ3 この多面体符号化を用いた線形計画法によるトレーニング問題の計算複雑性は何か？
• RQ4 この符号化を用いた一般化リスクの近似保証は、既存の文献の結果と比較してどのように異なるか？
• RQ5 データに依存しないポリトープの面構造を分析することで、トレーニング問題にどのような構造的知見が得られるか？

主な発見

• 固定されたアーキテクチャとサンプルサイズに対して、すべての ERM 問題の多面体符号化はサンプルサイズ D に対して線形に増加する。これは標準的な複雑性仮定下で最適である。
• ポリトープのサイズは、O((2L∞(ℓ)w^{O(k²)}/ϵ)^{n+m+N} (4σ²/ϵ²) log((2L∞(ℓ)w^{O(k²)}/ϵ)^N / α)) で有界であり、入力およびパラメータ次元に対して多項式的依存、D に対して線形依存であることが示される。
• 線形計画法によるアルゴリズム的解法により、一般化リスクへの近似が高確率で達成され、D = (4σ²/ϵ²) log((2L∞(ℓ)w^{O(k²)}/ϵ)^N / α) のサンプルサイズで GRM(φ̄) ≤ minφ∈Φ GRM(φ) + 6ϵ を満たす。
• 先行研究（例：[20]）と比較して、ϵ や k に対する依存性が改善されており、k に対して二重指数的ではなく単一指数的依存性を示す。
• このアプローチは、凸性や m=1 を仮定する先行研究とは異なり、非凸損失関数および一般の出力次元 m に対しても適用可能である。
• 多面体フレームワークにより、深層学習のトレーニング問題に強い幾何的構造が明らかになり、最適化と多面体幾何学、特に面構造との関連が明確にされる。