[논문 리뷰] ReLU Regression: Complexity, Exact and Approximation Algorithms

Santanu Dey, Guanyi Wang외 1명|arXiv (Cornell University)|2018. 10. 08.

Machine Learning and Algorithms참고 문헌 12인용 수 4

한 줄 요약

이 논문은 복잡도 관점에서 ReLU 회귀를 조사하며, 일반적으로 NP-난이도임을 증명하지만, 특성 수 p가 고정되어 있을 경우 O(n^p) 시간 내에 해결 가능하다는 것을 보여준다. 정확한 정수계획법 프레임워크와 수치적 안정성과 뛰어난 경험적 성능을 보이는 다항시간 n-근사 알고리즘을 제안한다.

ABSTRACT

Solving ReLU regression problems is similar to training a neural network with one node with ReLU activation function, which aims to fit a model where the response is related to the linear combination of input feature variables. We study the ReLU regression problem from the algorithmic complexity perspective. We show that the ReLu regression is NP-hard in general, and when the number of features $p$ is fixed, there exists an algorithm that achieves the global optimal solution in $O(n^p)$ running time. We also present an integer programming (IP) framework which can produce dual bounds and feasible upper bounds. Moreover, we present a polynomial-time iterative $n$-Approximation Algorithm, which performs well in practice as demonstrated by numerical studies and can be numerically more stable than IP solutions.

연구 동기 및 목표

• ReLU 회귀 문제의 알고리즘 복잡도를 분석하는 것.
• ReLU 회귀를 효율적으로 해결하기 위한 정확한 알고리즘과 근사 알고리즘을 개발하는 것.
• 정수계획법 프레임워크를 통해 이중 경계와 타당한 상한 경계를 제공하는 것.
• 강한 경험적 성능를 보이는 다항시간 근사 알고리즘을 설계하는 것.

제안 방법

• 계산 복잡도 이론을 사용하여 일반적인 경우에서 ReLU 회귀의 NP-난이도를 증명하는 것.
• 특성 수 p가 고정되어 있을 경우 O(n^p) 시간 복잡도를 가지는 정확한 알고리즘을 개발하는 것.
• ReLU 회귀 문제를 정수계획법(IP) 문제로 재구성하여 이중 경계와 타당한 상한 경계를 생성하는 것.
• 다항시간 내에 실행되며 수치적 안정성을 보장하는 반복적 n-근사 알고리즘을 제안하는 것.
• 수치적 실험에서 근사 알고리즘을 구현하고 평가하여 실용적 성능를 평가하는 것.
• IP 프레임워크를 사용하여 근사 해의 품질을 뒷받침하는 경계를 계산하는 것.

실험 결과

연구 질문

• RQ1 ReLU 회귀 문제를 해결하는 데 필요한 계산 복잡도는 무엇인가?
• RQ2 특성 수가 고정되어 있을 경우 ReLU 회귀에 대한 정확한 알고리즘을 설계할 수 있는가?
• RQ3 정수계획법 프레임워크는 ReLU 회귀 문제의 이중 경계와 원실 경계를 제공하는 데 얼마나 효과적인가?
• RQ4 효율적이고 수치적으로 안정적인 다항시간 근사 알고리즘을 개발할 수 있는가?
• RQ5 실제로 n-근사 알고리즘의 성능는 IP 기반 솔루션과 비교하여 어떻게 되는가?

주요 결과

• 일반적인 경우에서 ReLU 회귀는 NP-난이도이며, 이는 임의의 입력 크기에 대해 계산적으로 비가능함을 입증한다.
• 특성 수 p가 고정되어 있을 경우 O(n^p) 실행 시간을 가지는 정확한 알고리즘이 존재하여 저차원 문제에 최적해를 도출할 수 있다.
• 정수계획법 프레임워크는 성공적으로 이중 경계와 타당한 상한 경계를 생성하여 해의 품질 평가를 뒷받침한다.
• 제안된 n-근사 알고리즘은 다항시간 내에 실행되며 수치 실험에서 뛰어난 경험적 성능를 보여준다.
• n-근사 알고리즘은 IP 기반 솔루션보다 수치적으로 더 안정적이며, 실세계 응용에서 실용적 이점이 있다.
• 근사 알고리즘은 특정 가정 하에 최악의 경우에서 최적의 근사 비율 n을 달성한다.