[論文レビュー] A GPU-accelerated Nonlinear Branch-and-Bound Framework for Sparse Linear Models

Xiang Meng, Ryan Lucas+1 more|arXiv (Cornell University)|Feb 4, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、ADMMベースのノードリラクゼーションとバッチGPU並列性を用いて多数のサブ問題を同時に解く、ℓ0–ℓ2 Penaltyを伴う厳密な疎線形回帰のためのGPU加速ブランチ＆ boundフレームワークを紹介します。

ABSTRACT

We study exact sparse linear regression with an $\ell_0-\ell_2$ penalty and develop a branch-and-bound (BnB) algorithm explicitly designed for GPU execution. Starting from a perspective reformulation, we derive an interval relaxation that can be solved by ADMM with closed-form, coordinate-wise updates. We structure these updates so that the main work at each BnB node reduces to batched matrix-vector operations with a shared data matrix, enabling fine-grained parallelism across coordinates and coarse-grained parallelism across many BnB nodes on a single GPU. Feasible solutions (upper bounds) are generated by a projected gradient method on the active support, implemented in a batched fashion so that many candidate supports are updated in parallel on the GPU. We discuss practical design choices such as memory layout, batching strategies, and load balancing across nodes that are crucial for obtaining good utilization on modern GPUs. On synthetic and real high-dimensional datasets, our GPU-based approach achieves clear runtime improvements over a CPU implementation of our method, an existing specialized BnB method, and commercial MIP solvers.

研究の動機と目的

• ℓ0–ℓ2ペナルティを伴う厳密な疎回帰をMIP風定式化で進化させる。
• BnBノード間および各ノード内の並列性を活用したGPU対応の非線形BnBフレームワークを設計する。
• GPUに適した高速な並列ノードリラクゼーションと上限解法を開発する。
• ウォームスタートとバッチ処理を可能にし、大規模なn, pに対するスケーラビリティを向上させる。

提案手法

• Big-M制約を伴う視点形式化を用いて問題を再定式化し、混合整数二次円錐問題を得る。
• 座標ごとの更新をデカップリングし、高度に並列な閉形式解を可能にするADMMベースのノードリラクゼーションを開発する。
• 実行可能解を生成するための強い対偶性を提供する、実行可能なADMM由来のデュアルを介したデュアル境界を計算する。
• 複数のBnBノードと座標を同時に処理するバッチ化・GPU対応の並列処理を実装する（サブ問題間でのバッチ処理）。
• アクティブサポート上でのバッチ付き近傍勾配上限法を用いて、実行可能解を迅速に生成する。
• 親ノードと子ノード間でADMM反復をウォームスタートし、ノードごとの解法を加速させる。コスト削減のため事前計算済み行列を再利用する。
• 初期上限を改善する高品質なサポートでBnB木を初期化する専門的ヒューリスティックを提供する。

実験結果

リサーチクエスチョン

• RQ1 GPU加速BnBフレームワークは、高次元の疎回帰問題に対して最適性を証明できるか（CPUベースと比較して）？
• RQ2 ノードリラクゼーションと上限計算を、ノード内とBnB木全体の両方でGPUの並列性を最大限に活用するようにどう構造するか？
• RQ3 メモリ配置、バッチ処理、負荷分散など、GPUの利用と性能に影響を与える実践的設計要件は何か？
• RQ4 提案されているGPUBnBは既存のBnB手法や商用MIPソルバーと比較して、実行時間とスケーラビリティの点でどうなるか？

主な発見

• GPUBnBは、CPU実装、既存の専門BnB法、および商用MIPソルバーと比較して、合成データおよび実データの高次元ケースで顕著な実行時間の改善を達成する。
• 大規模なインスタンス（n = 10^4, p = 10^5）で、GPUBnBはCPUベース実装（CPUBnB）に対して約35×の高速化、ノード並列性が使われない場合にはL0BnBより約6×の高速化を達成する。
• ノード並列性を用いると、秒あたり解けるノード数が最大で約25×向上し、全体の解法時間を大幅に短縮する。
• 商用ソルバーは非常に大規模なインスタンスでメモリ制限を超える場合があり、GPU加速アプローチの実用性の利点を際立たせる。