[논문 리뷰] A GPU-accelerated Nonlinear Branch-and-Bound Framework for Sparse Linear Models

Xiang Meng, Ryan Lucas외 1명|arXiv (Cornell University)|2026. 02. 04.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

이 논문은 ℓ0–ℓ2 패널티를 사용하는 정확한 희소 회귀를 위한 GPU 가속 분기-한계 프레임워크를 제안하며, ADMM 기반 노드 완화와 배치 GPU 병렬 처리를 이용해 다수의 하위 문제를 동시에 해결한다.

ABSTRACT

We study exact sparse linear regression with an $\ell_0-\ell_2$ penalty and develop a branch-and-bound (BnB) algorithm explicitly designed for GPU execution. Starting from a perspective reformulation, we derive an interval relaxation that can be solved by ADMM with closed-form, coordinate-wise updates. We structure these updates so that the main work at each BnB node reduces to batched matrix-vector operations with a shared data matrix, enabling fine-grained parallelism across coordinates and coarse-grained parallelism across many BnB nodes on a single GPU. Feasible solutions (upper bounds) are generated by a projected gradient method on the active support, implemented in a batched fashion so that many candidate supports are updated in parallel on the GPU. We discuss practical design choices such as memory layout, batching strategies, and load balancing across nodes that are crucial for obtaining good utilization on modern GPUs. On synthetic and real high-dimensional datasets, our GPU-based approach achieves clear runtime improvements over a CPU implementation of our method, an existing specialized BnB method, and commercial MIP solvers.

연구 동기 및 목표

• MIP 스타일 형식을 통해 ℓ0–ℓ2 패널티를 갖는 정확한 희소 회귀를 진전시키다.
• BnB 노드 간 및 각 노드 내에서의 병렬성을 활용하는 GPU 친화적인 비선형 BnB 프레임워크를 설계한다.
• GPU에 적합한 빠르고 병렬화된 노드 이완 및 상한 해 해법을 개발한다.
• 큰 n, p에 대한 확장성을 개선하기 위해 웜 스타트 및 배치 처리를 가능하게 한다.

제안 방법

• 문제를 Big-M 제약을 가진 관점(formulation)으로 재정의하여 혼합정수 2차 원뿔 문제를 얻는다.
• ADMM 기반의 노드 이완으로 문제를 좌표별 업데이트로 분리하여 고도로 병렬화된 해법을 가능하게 한다.
• 실현 가능한 ADMM 유도 든dual를 통해 이완된 문제에 강한 이중성(duality)을 제공한다.
• 다수의 BnB 노드와 좌표를 동시에 처리하는 배치형의 GPU 친화적 병렬화를 구현한다(하위 문제 간 배칭).
• 활성 지원에 대한 배치된 proximial-gradient 상한 방법을 사용하여 빠르게 해를 생성한다.
• 부모 및 자식 노드 간의 ADMM 반복을 웜스타트하여 각 노드 풀이를 가속하고 비용 감소를 위해 미리 계산된 행렬을 재사용한다.
• 고품질의 지원으로 BnB 트리를 초기화하는 특수한 휴리스틱을 제공하여 초기 상한을 개선한다.

실험 결과

연구 질문

• RQ1 GPU-가속 BnB 프레임워크가 CPU 기반 접근법보다 고차원 희소 회귀 문제에 대해 최적성을 증명하는 데 더 효율적인가?
• RQ2 노드 이완과 상한 계산을 어떻게 구성하면 노드 내부와 BnB 트리 전체에서 GPU 병렬성을 최대한 활용할 수 있는가?
• RQ3 이 BnB 프레임워크에서 GPU 활용도와 성능에 영향을 주는 실용적 설계 고려 사항(메모리 레이아웃, 배칭, 부하 분산)은 무엇인가?
• RQ4 제안된 GPUBnB는 실행 시간과 확장성 면에서 기존 BnB 방법 및 상용 MIP 솔버와 어떻게 비교되는가?

주요 결과

• GPUBnB는 합성 및 실제 고차원 데이터에서 CPU 구현, 기존 특화 BnB 방법, 상용 MIP 솔버에 비해 실행 시간이 크게 개선된다.
• 대규모 인스턴스(n = 10^4, p = 10^5)에서 GPUBnB는 CPU 기반 구현(CPUBnB)에 대해 35× 속도 향상을 달성하고 노드 병렬성을 사용하지 않았을 때 L0BnB에 대해 6× 속도 향상을 달성한다.
• 노드 병렬성을 활용하면 매초 해결된 노드 수 측면에서 최대 25×의 해결 처리량 향상을 달성하여 전체 해결 시간이 훨씬 빨라진다.
• 매우 큰 인스턴스에서 상용 솔버가 메모리 한도를 초과할 수 있어 GPU 가속 접근의 실용성 이점을 강조한다.