[논문 리뷰] Training Neural Networks is ER-complete

Mikkel Abrahamsen, Linda Kleist외 1명|arXiv (Cornell University)|2021. 02. 19.

Machine Learning and Algorithms인용 수 11

한 줄 요약

이 논문은 신경망 학습이 ∃R-완전하다고 규명한다. 즉, 실수 변수를 가진 다항방정식 및 부등식의 해가 존재하는지 여부를 판단하는 것만큼 어려운 문제임을 의미한다. 이는 ∃R ≠ NP일 경우, 학습이 NP-완전 문제보다 엄격히 더 어렵다는 것을 의미하며, 이는 SAT나 IP 솔버와 같은 표준 NP 해결 기법이 이 작업에 실패하는 이유를 설명한다.

ABSTRACT

Given a neural network, training data, and a threshold, it was known that it is NP-hard to find weights for the neural network such that the total error is below the threshold. We determine the algorithmic complexity of this fundamental problem precisely, by showing that it is ∃R-complete. This means that the problem is equivalent, up to polynomial-time reductions, to deciding whether a system of polynomial equations and inequalities with integer coefficients and real unknowns has a solution. If, as widely expected, ∃R is strictly larger than NP, our work implies that the problem of training neural networks is not even in NP. Neural networks are usually trained using some variation of backpropagation. The result of this paper offers an explanation why techniques commonly used to solve big instances of NP-complete problems seem not to be of use for this task. Examples of such techniques are SAT solvers, IP solvers, local search, dynamic programming, to name a few general ones.

연구 동기 및 목표

• 신경망 학습의 정확한 알고리즘 복잡도를 규명하는 것.
• 기존의 NP-난이도와 실제 학습 문제의 복잡도 사이의 격차를 메우는 것.
• 신경망 학습 문제와 실수 미지수를 가진 다항방정식 및 부등식 시스템 간의 다항시간 감소에 의해 동치임을 보이는 것.
• 일반적인 NP-완전 문제 기법이 신경망 학습 맥락에서 실패하는 이유를 설명하는 것.

제안 방법

• 신경망 학습 문제를 존재론적 실수 이론(∃R)으로 감소시키는 것.
• 모든 ∃R 문제로부터 다항시간 내의 일对일 감소를 통해 신경망 학습 인스턴스로의 변환 구축.
• 정수 계수와 실수 변수를 가진 다항방정식 및 부등식의 모든 시스템을 신경망 학습 문제로 인코딩할 수 있음을 보여주는 것.
• 실수형 가중치와 활성화 함수를 사용하여 네트워크 아키텍처 내 다항 제약 조건을 모델링하는 것.
• 신경망 학습 문제를 해결하는 것이 임의의 ∃R 문제를 해결하는 데 충분하며, 그 반대도 성립함을 공식적으로 증명하는 것.
• 기존의 ∃R 완전성 결과를 활용하여 학습 문제의 정확한 복잡도 클래스를 규명하는 것.

실험 결과

연구 질문

• RQ1 주어진 오차 한계를 만족시키기 위해 신경망을 학습시키는 문제는 ∃R-완전한가?
• RQ2 학습 문제를 존재론적 실수 이론의 문제들로 감소시키고, 그 반대도 가능한가?
• RQ3 학습의 ∃R-완전성은 표준 NP 해결 기법이 효과가 없음을 의미하는가?
• RQ4 신경망 학습과 다항방정식 및 부등식 시스템 사이의 정확한 관계는 무엇인가?

주요 결과

• 지정된 오차 한계를 충족시키기 위해 신경망을 학습시키는 것은 ∃R-완전하다. 즉, 실수 위에서의 다항방정식 및 부등식 시스템의 해 존재 여부를 판단하는 것만큼 어려운 문제이다.
• ∃R = NP가 아닐 경우, 이 문제는 NP보다 엄격히 더 어렵다. 이는 널리 틀림없이 거짓으로 여겨진다.
• 이 복잡도 클래스는 SAT 솔버, IP 솔버, 국소 탐색과 같은 표준 NP 해결 기법이 대규모 학습 문제를 해결하는 데 실패하는 이유를 설명한다.
• 이 결과는 ∃R ⊆ NP가 아닐 경우, 신경망 학습이 다항시간 내에 해결될 수 없다는 것을 암시한다. 이는 매우 불가능시된 것으로 여겨진다.
• 감소 과정을 통해 임의의 ∃R 문제 인스턴스가 다항시간 오버헤드로 신경망 학습 문제로 인코딩될 수 있음을 보여준다.