[논문 리뷰] Multivariate Convex Regression at Scale

Wenyu Chen, Rahul Mazumder|arXiv (Cornell University)|2020. 05. 23.

Machine Learning and Algorithms참고 문헌 38인용 수 8

한 줄 요약

이 논문은 대규모 다변량 볼록 회귀를 위한 확장 가능한 액티브 세트 알고리즘을 제안하며, 근사 하위문제 최적화와 랜덤화된 보정 규칙을 사용하여 이중 QP에서 선형 수렴을 달성한다. n=10⁵ 및 d=10인 인스턴스를 몇 분 내에 해결하며, 이는 이전 방법들에 비해 크게 뛰어난 성능을 보인다.

ABSTRACT

We present new large-scale algorithms for fitting a subgradient regularized multivariate convex regression function to $n$ samples in $d$ dimensions -- a key problem in shape constrained nonparametric regression with widespread applications in statistics, engineering and the applied sciences. The infinite-dimensional learning task can be expressed via a convex quadratic program (QP) with $O(nd)$ decision variables and $O(n^2)$ constraints. While instances with $n$ in the lower thousands can be addressed with current algorithms within reasonable runtimes, solving larger problems (e.g., $n\approx 10^4$ or $10^5$) is computationally challenging. To this end, we present an active set type algorithm on the dual QP. For computational scalability, we perform approximate optimization of the reduced sub-problems; and propose randomized augmentation rules for expanding the active set. Although the dual is not strongly convex, we present a novel linear convergence rate of our algorithm on the dual. We demonstrate that our framework can approximately solve instances of the convex regression problem with $n=10^5$ and $d=10$ within minutes; and offers significant computational gains compared to earlier approaches.

연구 동기 및 목표

• n ≈ 10⁴에서 10⁵개의 샘플을 가진 대규모 데이터셋에 대해 다변량 볼록 회귀 함수를 피팅하는 데 발생하는 계산적 과제를 해결한다.
• O(nd) 변수와 O(n²) 제약 조건을 가진 무한차원 학습 작업에 대해 기존 볼록 2차계획법(QP) 해법기의 확장성 한계를 극복한다.
• 대규모 인스턴스에서 효율적인 최적화를 가능하게 하는 이중 액티브 세트 알고리즘을 개발한다.
• 이중 QP가 강력 볼록이 아니라는 점을 감안하여 수렴 보장을 확보한다.

제안 방법

• 다변량 볼록 회귀 문제를 O(nd) 결정 변수와 O(n²) 제약 조건을 가진 볼록 QP로 공식화한다.
• 이중 QP에 액티브 세트 방법을 적용하여, 근사 최적화를 통해 점진적으로 축소된 하위문제를 해결한다.
• 효율적인 액티브 세트 확장을 위해 랜덤화된 보정 규칙을 도입하여 확장성을 향상시킨다.
• 이중 QP에 대해 선형 수렴 속도를 확립하며, 이는 이중이 강력 볼록이 아니라는 점을 감안하여도 성립한다.
• 하향 기울기 정규화를 사용하여 회귀 함수의 볼록성과 형태 제약 조건을 강제한다.
• 이중성을 활용하여 무한차원 학습 작업을 다룰 수 있는 실용적인 최적화 프레임워크로 변환한다.

실험 결과

연구 질문

• RQ1 이중 QP에 대한 액티브 세트 알고리즘이 이중이 강력 볼록이 아니라는 점을 감안하여도 대규모 다변량 볼록 회귀에서 선형 수렴을 달성할 수 있는가?
• RQ2 근사 하위문제 최적화와 랜덤화된 액티브 세트 확장을 효과적으로 융합하여 n=10⁵에까지 확장할 수 있는가?
• RQ3 큰 n과 중간 정도의 d에 대해 제안된 방법이 기존 접근법에 비해 얼마나 높은 계산 성능 향상을 보이는가?
• RQ4 대규모 인스턴스에서 런타임을 줄이면서도 알고리즘이 솔루션 품질을 어느 정도 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 이중이 강력 볼록이 아니라는 점을 감안하여도 이중 QP에서 선형 수렴을 달성하며, 이는 새로운 이론적 보장을 확립한다.
• 이 방법은 n=10⁵ 및 d=10인 다변량 볼록 회귀 문제를 몇 분 이내에 근사적으로 해결하여 높은 확장성을 입증한다.
• 계산 실험 결과, 이전 방법들에 비해 뚜렷한 런타임 향상을 보이며, 대규모 데이터셋에서의 실용적 활용 가능성을 입증한다.
• 랜덤화된 보정 규칙은 액티브 세트를 효과적으로 확장하여 더 빠른 수렴과 확장성 향상에 기여한다.
• 근사 하위문제 최적화는 반복 단위 비용을 크게 줄이면서도 솔루션 품질을 유지한다.