[논문 리뷰] On the Fine-Grained Complexity of Empirical Risk Minimization: Kernel Methods and Neural Networks

Artūrs Bačkurs, Piotr Indyk외 1명|arXiv (Cornell University)|2017. 04. 10.

Machine Learning and Algorithms인용 수 14

한 줄 요약

이 논문은 미세 복잡도 이론을 활용하여 커널 방법과 신경망에서 경험적 위험 최소화(Empirical Risk Minimization, ERM)의 조건부 난이도 결과를 확립한다. 강력한 지수 시간 가설(Strong Exponential Time Hypothesis, SETH) 하에, 어떤 알고리즘도 서브-이차 시간 내에 커널 SVM, 커널 리지 회귀, 또는 신경망의 최종 레이어를 고정된 정확도로 학습시킬 수 없으며, 이러한 모델에서 기울기 계산도 O(n·m) 시간 이하로 크게 가속화될 수 없다고 증명한다.

ABSTRACT

Empirical risk minimization (ERM) is ubiquitous in machine learning and underlies most supervised learning methods. While there has been a large body of work on algorithms for various ERM problems, the exact computational complexity of ERM is still not understood. We address this issue for multiple popular ERM problems including kernel SVMs, kernel ridge regression, and training the final layer of a neural network. In particular, we give conditional hardness results for these problems based on complexity-theoretic assumptions such as the Strong Exponential Time Hypothesis. Under these assumptions, we show that there are no algorithms that solve the aforementioned ERM problems to high accuracy in sub-quadratic time. We also give similar hardness results for computing the gradient of the empirical loss, which is the main computational burden in many non-convex learning tasks.

연구 동기 및 목표

• 커널 방법과 신경망에서 경험적 위험 최소화(ERM)의 정확한 계산 복잡도를 이해하는 것.
• 커널 SVM 및 커널 리지 회귀와 같은 인기 있는 모델에서 고정밀도 ERM 해를 서브-이차 시간 내에 계산할 수 있는지 여부를 규명하는 것.
• 미세 복잡도 가정 하에 신경망에서 기울기 계산의 복잡도를 조사하는 것, 특히 최종 레이어에 중점을 두어.
• 강력한 지수 시간 가설(SETH)에 기반한 조건부 하한을 제공하는 것. SETH는 미세 복잡도 이론에서 표준적인 가정이다.
• 기존 방법의 실용적 비효율성과 다항식 시간 알고리즘 사이의 격차를 메우기 위해, 더 나은 이차 성능가능성이 SETH가 잘못되었을 경우에만 성립하지 않는다는 것을 증명함으로써 이 격차를 메우는 것.

제안 방법

• 강력한 지수 시간 가설(SETH)을 포함한 미세 복잡도 이론을 활용하여 ERM 및 기울기 계산에 대한 조건부 하한을 유도한다.
• 이진 벡터를 입력 공간에 정교하게 매핑하여 만든 임bedding을 통해 만족 가능성 문제(CNF-SAT)를 커널 방법과 신경망의 ERM 문제로 감소시킨다.
• 특정 성질을 가진 손실 함수를 구성한다: 볼록성, 유계성, 그리고 최소값이 0에 유일하게 존재함으로써 기저 계산 문제의 구조를 유지한다.
• 입력 공간에서 정규직교 쌍은 큰 손실 값을, 비정규직교 쌍은 작은 손실 값을 갖도록 하는 행렬 구조를 설계하여, CNF-SAT 문제에서 ERM 문제로의 감소를 가능하게 한다.
• 이중 변수 α의 다양한 할당 하에서 경험적 위험의 행동을 분석하여, 최적 해가 정규직교 쌍의 존재와 대응됨을 보여주며, 이는 최적 해가 존재하는 경우 기저 CNF-SAT 인스턴스를 해결하는 데 필수적임을 의미한다.
• 어떤 알고리즘이 고정밀도 ERM 문제를 해결하려면 기저 CNF-SAT 인스턴스를 해결해야 하며, 이는 서브-이차 시간 알고리즘이 SETH를 위반하게 됨을 의미한다.

실험 결과

연구 질문

• RQ1 표준 복잡도 가정 하에 커널 SVM을 고정밀도로 서브-이차 시간 내에 해결할 수 있는가?
• RQ2 신경망의 최종 레이어에서 경험 손실의 기울기를 O(n·m) 시간 이하로 더 빠르게 계산할 수 있는 알고리즘이 존재하는가?
• RQ3 SETH를 가정할 때 커널 리지 회귀는 이차 시간 이하로 더 효율적으로 해결할 수 있는가?
• RQ4 커널 방법과 신경망에서 ERM의 계산 복잡도가 본질적으로 이차적일까, 아니면 비효율적인 알고리즘 탓일까?
• RQ5 각 예측 예를 별개로 처리하는 것 이상으로 기울기 계산을 가속화할 수 있는 기본적인 한계가 있는가?

주요 결과

• 강력한 지수 시간 가설(SETH) 하에, 커널 SVM을 고정밀도로 서브-이차 시간 내에 해결할 수 있는 알고리즘이 존재하지 않는다.
• 동일한 난이도 결과는 커널 리지 회귀와 신경망의 최종 레이어 학습에도 적용되며, 이는 이러한 문제가 예측 개수에 대해 본질적으로 이차적임을 시사한다.
• 신경망의 최종 레이어에서 경험 손실의 기울기를 계산하는 것은, n이 뉴런 수이고 m이 예측 수일 때, SETH가 성립하지 않는 한 O(n·m) 시간 이하로는 수행될 수 없다.
• 논문은 같은 복잡도 가정 하에, 어떤 알고리즘도 배치 기울기를 각 예측을 별개로 처리하는 것보다 크게 빠르게 계산할 수 없음을 보여준다.
• 이 난이도 결과는 조건부이지만, SETH와 같은 미세 복잡도 이론에서 널리 수용된 추측에 기반하며, 수십 년에 걸친 알고리즘 연구 동안 살아남아 왔다.
• 결과적으로, 고정밀도 ERM와 기울기 계산의 계산 비용은 알고리즘 비효율성 외에도 기저 데이터의 구조에 의해 본질적으로 제한됨을 시사한다.