[論文レビュー] Training Neural Networks is ER-complete

Mikkel Abrahamsen, Linda Kleist+1 more|arXiv (Cornell University)|Feb 19, 2021

Machine Learning and Algorithms被引用数 11

ひとこと要約

この論文は、ニューラルネットワークの学習が ∃R-完全であることを確立しており、これは実数変数を用いた多項式方程式および不等式の組の可解性を決定することと同程度の難易度であることを意味する。これは、∃R ≠ NP である限り、学習が NP-完全問題よりも厳密に難しいことを示しており、SAT や IP ソルバーなどの標準的な NP 解法手法がこのタスクに失敗する理由を説明する。

ABSTRACT

Given a neural network, training data, and a threshold, it was known that it is NP-hard to find weights for the neural network such that the total error is below the threshold. We determine the algorithmic complexity of this fundamental problem precisely, by showing that it is ∃R-complete. This means that the problem is equivalent, up to polynomial-time reductions, to deciding whether a system of polynomial equations and inequalities with integer coefficients and real unknowns has a solution. If, as widely expected, ∃R is strictly larger than NP, our work implies that the problem of training neural networks is not even in NP. Neural networks are usually trained using some variation of backpropagation. The result of this paper offers an explanation why techniques commonly used to solve big instances of NP-complete problems seem not to be of use for this task. Examples of such techniques are SAT solvers, IP solvers, local search, dynamic programming, to name a few general ones.

研究の動機と目的

• ニューラルネットワークの学習の正確なアルゴリズム的複雑性を特定すること。
• 既知の NP 困難性と訓練問題の真の複雑性とのギャップを埋めること。
• ニューラルネットワークの学習が、実数の未知数を含む多項式方程式および不等式の組を解くことと、多項式時間還元の意味で同等であることを示すこと。
• NP-完全問題のための一般的な手法がニューラルネットワーク学習の文脈でなぜ機能しないのかを説明すること。

提案手法

• ニューラルネットワークの学習問題を存在論的実数理論（∃R）に還元すること。
• 任意の ∃R 問題をニューラルネットワークの学習インスタンスに多対一還元する多項式時間還元の構築。
• 整数係数をもつ多項式方程式および不等式の任意の系を、ニューラルネットワークの学習問題として符号化できることの証明。
• 実数値の重みおよび活性化関数を用いて、ネットワーク構造内に多項式制約をモデル化すること。
• ニューラルネットワークの学習問題を解くことが任意の ∃R 問題を解くのに十分であり、逆にそれも成り立つことを形式的証明すること。
• 既知の ∃R の完全性結果を活用し、訓練問題の正確な複雑度クラスを確立すること。

実験結果

リサーチクエスチョン

• RQ1 与えられた誤差閾値を満たすニューラルネットワークの学習問題は ∃R-完全か？
• RQ2 訓練問題は存在論的実数理論の問題に還元可能であり、それらからも還元可能か？
• RQ3 訓練の ∃R-完全性は、標準的な NP 解法手法が無効であることを示唆するか？
• RQ4 ニューラルネットワークの学習と多項式方程式および不等式の組との間の正確な関係は何か？

主な発見

• 指定された誤差閾値を達成するためのニューラルネットワークの学習は ∃R-完全であり、これは実数上での多項式方程式および不等式の組の可解性を決定することと同等の難易度であることを意味する。
• ∃R = NP でない限り、この問題は NP よりも厳密に難しい。これは広く誤りであると信じられている。
• この複雑度クラスは、SAT ソルバーや IP ソルバー、局所探索などの標準的な NP 解法手法が大規模な訓練問題を解くのに失敗する理由を説明する。
• この結果は、∃R ⊆ NP でない限り、ニューラルネットワークの学習が多項式時間で解けないことを示唆する。これはありそうにないと考えられている。
• 還元により、任意の ∃R 問題のインスタンスが多項式時間のオーバーヘッドでニューラルネットワークの学習問題に符号化可能であることが示された。