[논문 리뷰] Approximation Schemes for ReLU Regression

Ilias Diakonikolas, Surbhi Goel외 3명|arXiv (Cornell University)|2020. 05. 26.

Machine Learning and Algorithms참고 문헌 27인용 수 8

한 줄 요약

이 논문은 등방성 로그볼록성 또는 서브가우시안 분포와 같은 약한 분포가정 하에서 ReLU 회귀에 대한 첫 번째 효율적인 상수 요인 근사 알고리즘을 제시한다. 분포적 성질을 통해 강력한 볼록성을 유도하는 새로운 보조 손실의 특성화를 도입함으로써, 저자들은 정보 이론적 한계에 맞는 거의 최적의 표본 복잡도와 오차 한계를 갖는 다항시간 근사계량기법(PTAS)을 달성한다.

ABSTRACT

We consider the fundamental problem of ReLU regression, where the goal is to output the best fitting ReLU with respect to square loss given access to draws from some unknown distribution. We give the first efficient, constant-factor approximation algorithm for this problem assuming the underlying distribution satisfies some weak concentration and anti-concentration conditions (and includes, for example, all log-concave distributions). This solves the main open problem of Goel et al., who proved hardness results for any exact algorithm for ReLU regression (up to an additive $ε$). Using more sophisticated techniques, we can improve our results and obtain a polynomial-time approximation scheme for any subgaussian distribution. Given the aforementioned hardness results, these guarantees can not be substantially improved. Our main insight is a new characterization of surrogate losses for nonconvex activations. While prior work had established the existence of convex surrogates for monotone activations, we show that properties of the underlying distribution actually induce strong convexity for the loss, allowing us to relate the global minimum to the activation's Chow parameters.

연구 동기 및 목표

• 약한 분포가정 하에서 ReLU 회귀에 대한 상수 요인 근사가 다항시간 내에 달성될 수 있는지에 대한 열린 문제를 해결한다.
• ReLU 회귀의 비볼록성과 지수적 수의 국소 최솟값을, 분포 특성에 기반한 강력한 볼록성을 보장하는 보조 손실의 강력한 볼록성으로 극복한다.
• 등방성 로그볼록성 분포에 대해 O(opt) + ε 이내의 오차를 달성하는 알고리즘을 설계하며, 서브가우시안 분포에 대해서는 (1+η)·opt + ε 이내의 오차를 달성한다. 이는 알려진 경계 하한과 일치한다.
• 로그볼록성 분포에 대해 정보 이론적으로 최적의 표본 복잡도 Õ(d/ε²)를 확립한다. 이는 차원 d에 대해 거의 선형이다.
• 분포 제약 조건 하에서 전역 최솟값과 활성화별 초우 파라미터 간의 관계를 규명함으로써, 비볼록 환경에서의 보조 손실 설계에 이론적 기반을 제공한다.

제안 방법

• 분포적 성질(예: 로그볼록성, 서브가우시안성)을 활용해 강력한 볼록성을 유도하는 보조 손실의 새로운 특성화를 도입함으로써, 전역 수렴 보장을 가능하게 한다.
• 로그볼록성 분포에 대해 경험 과정의 균일한 한쪽 끝 농도를 사용하여 추정 오차를 제한하고 표본 효율성을 확보한다.
• 서브가우시안 가정 하에서 ReLU 손실의 尾행동을 제어하기 위해 고급 반집중 및 집중 부등식을 적용한다.
• 다항식 근사와 저차수 다항식 위에서의 경험 리스크 최소화를 조합하여 다항시간 근사계량기법(PTAS)을 구성한다.
• 보조 손실의 전역 최솟값과 ReLU 활성화의 초우 파라미터 간의 연결을 활용하여 근사 품질을 보장한다.
• 이중 단계 접근법을 사용한다: 첫 번째로, 유한한 노이즈 하에서 등방성 회귀 유사 기법을 사용해 조건부 평균 함수를 근사한다. 두 번째로, 다항식 근사와 경험 리스크 최소화를 통해 추정치를 정밀화한다.

실험 결과

연구 질문

• RQ1 등방성 로그볼록성 또는 서브가우시안 분포 하에서 ReLU 회귀에 대해 다항시간 내에 상수 요인 근사를 달성할 수 있는가?
• RQ2 로그볼록성 또는 서브가우시안성과 같은 분포적 성질이 비볼록 ReLU 회귀에서 보조 손실의 강력한 볼록성을 얼마나 유도할 수 있는가?
• RQ3 차원 d에 대해 거의 선형인 표본 복잡도를 갖는 동시에 O(opt) + ε 이내의 오차를 달성할 수 있는 알고리즘을 설계할 수 있는가?
• RQ4 더 강력한 서브가우시안 가정 하에서 어떤 상수 η > 0 에 대해 근사 보장을 (1+η)·opt + ε 으로 향상시킬 수 있는가?
• RQ5 분포 제약 조건 하에서 ReLU 활성화의 초우 파라미터는 보조 손실의 전역 최솟값과 어떻게 관련이 있는가?

주요 결과

• 등방성 로그볼록성 분포 하에서, 알고리즘은 Õ(d/ε²) 개의 표본과 Õ(d²/ε²) 의 시간 복잡도로 O(opt) + ε 오차를 달성하며, 이는 정보 이론적 표본 복잡도에 로그 인자 외에는 정확히 일치한다.
• ν-서브가우시안 분포 하에서, 임의의 상수 η > 0 에 대해 표본 및 런타임 복잡도가 O((1/ε²)·(d/(η³ν²))^(1/η³)) 인 PTAS 가 달성되며, 이는 (1+η)·opt + ε 오차를 제공한다.
• 제안된 알고리즘은 약한 분포가정 하에서 ReLU 회귀에 대해 다항시간 내에 상수 요인 근사를 달성하는 최초의 알고리즘이다.
• 오차 한계는 알려진 난이도 결과에 의해 거의 날카롭게 맞춰져 있으며, 일반적인 분포 하에서 O(opt) + ε 보다 나은 결과를 달성할 수 있는 알고리즘이 존재하지 않음이 알려져 있다.
• 분석 결과, 분포적 성질(예: 반집중성)이 보조 손실의 강력한 볼록성을 유도함을 밝혀내었으며, 이는 비볼록성에도 불구하고 전역 수렴을 가능하게 한다.
• 이 방법은 보조 손실의 전역 최솟값과 ReLU 활성화의 초우 파라미터 간의 새로운 연결 고리를 확립하여, 근사 품질에 대한 이론적 보장을 가능하게 한다.