[논문 리뷰] Rank-one Convexification for Sparse Regression

Alper Atamtürk, Andrés Gómez|arXiv (Cornell University)|2019. 01. 29.

Sparse and Compressive Sensing Techniques참고 문헌 54인용 수 21

한 줄 요약

이 논문은 ℓ₀ 제약 조건이 있는 희소 회귀 문제에 대해 새로운 랭크-원 컨벡스피케이션 방법을 제안하며, 이를 확장된 공간에서 더 강력한 정수형 최적화 문제로 공식화한다. 이 방법은 벤치마크 데이터셋에서 몇 초 내에 거의 최적의 해를 도출하며, 기존 최상의 볼록 완화 기법들보다 해의 품질과 통계적 성능에서 뛰어나며, 최적성 갭은 0.4% 이하로 유지되고 더 우수한 희소성 복구 성능을 보인다.

ABSTRACT

Sparse regression models are increasingly prevalent due to their ease of interpretability and superior out-of-sample performance. However, the exact model of sparse regression with an $\ell_0$ constraint restricting the support of the estimators is a challenging (\NP-hard) non-convex optimization problem. In this paper, we derive new strong convex relaxations for sparse regression. These relaxations are based on the ideal (convex-hull) formulations for rank-one quadratic terms with indicator variables. The new relaxations can be formulated as semidefinite optimization problems in an extended space and are stronger and more general than the state-of-the-art formulations, including the perspective reformulation and formulations with the reverse Huber penalty and the minimax concave penalty functions. Furthermore, the proposed rank-one strengthening can be interpreted as a extit{non-separable, non-convex, unbiased} sparsity-inducing regularizer, which dynamically adjusts its penalty according to the shape of the error function without inducing bias for the sparse solutions. In our computational experiments with benchmark datasets, the proposed conic formulations are solved within seconds and result in near-optimal solutions (with 0.4\% optimality gap) for non-convex $\ell_0$-problems. Moreover, the resulting estimators also outperform alternative convex approaches from a statistical perspective, achieving high prediction accuracy and good interpretability.

연구 동기 및 목표

• 정확한 희소 회귀 문제에 대한 ℓ₀ 제약 조건을 고려할 때 발생하는 NP-난이도 문제를 해결하기 위해, 비볼록이고 최적으로 해결하기 어려운 문제에 대응한다.
• 기존의 퍼스펙티브 재구성, 리버스 허버, 최소 최대 오목 페널티(MCP) 공식화 방식보다 더 강력한 볼록 완화 기법을 개발한다.
• 최적 또는 거의 최적의 해를 증명 가능하게 도출할 수 있도록, 최적의 부분집합 선택 및 희소 회귀 문제에 대해 보장된 희소성과 낮은 편향을 확보한다.
• 진정한 ℓ₀ 해를 더 잘 근사하는 강력한 볼록 완화 기법과 비편향성의 조합을 통해 통계적 성능을 향상시킨다.
• 다양한 신호 대 잡음 비율(SNR)과 상관관계 구조에서의 계산 효율성과 강인성을 입증한다.

제안 방법

• 지표 변수를 포함한 랭크-일차 이차 항에 대해 이상적인(볼록 껍질) 공식화를 유도하며, 이는 완화의 기초를 형성한다.
• 희소 회귀 문제를 확장된 변수 공간에서 정수형 프로그래밍(SDP)으로 재구성함으로써 완화의 강도를 향상시킨다.
• 오차 함수의 형태에 따라 페널티를 동적으로 조정하는 비분리형, 비볼록형, 비편향형 희소성 유도 정규화 기법을 도입한다.
• 두 단계로 구성된 콘형 공식화(sdp₂)를 제안하며, 이는 랭크-원 컨벡스피케이션을 통합하고, big-M 또는 표준 MIO 접근 방식보다 더 날카운 경계를 제공한다.
• 강력한 SDP 완화를 활용한 브랜치 앤 바운드 프레임워크를 적용하여 최적성 또는 거의 최적성 해를 효율적으로 증명한다.
• 비분리 정규화를 통해 표준 희소 회귀 문제뿐 아니라 융합 라소와 일반화된 라소와 같은 일반화된 변형 문제에도 적용한다.

실험 결과

연구 질문

• RQ1 랭크-원 컨벡스피케이션은 기존 최상의 공식화 방식보다 ℓ₀-희소 회귀 문제에 대해 더 강력한 볼록 완화를 생성할 수 있는가?
• RQ2 제안된 콘형 공식화는 실용적인 계산 시간 내에 최적에 가까운 해를 최적의 부분집합 선택 문제에 대해 도출할 수 있는가?
• RQ3 이 방법은 고SNR 설정에서는 진짜 희소성 패턴을 복구할 수 있는가? 저SNR 환경에서는 과적합을 피할 수 있는가?
• RQ4 예측 정확도와 희소성 측면에서 이 방법은 엘라스틱 넷과 라소보다 어떻게 비교되는가?
• RQ5 비분리형, 비볼록 정규화 기법은 라소와 MCP 유형의 페널티에 비해 편향을 얼마나 줄이는가?

주요 결과

• 제안된 sdp₂ 공식화는 n=500, p=100, k=5 조건에서 벤치마크 인스턴스에서 최대 0.3%의 최적성 갭을 기록하며, ρ=0.00일 경우 97%의 해가 증명 가능한 최적해이다.
• ρ=0.35일 경우 68%의 해가 증명 가능한 최적해이며, 유사한 시간 제한 내에서 최적성 도달 비율이 35%에 불과한 MIO 솔버보다 뚜렷이 뛰어나다.
• 이 방법은 평균 약 30초 내에 거의 최적의 해를 계산하며, 다양한 SNR 수준에서 계산 시간은 25.9초에서 48.0초 사이로 변동한다.
• sdp₂는 고SNR 설정에서 진짜 희소성 패턴(k≈s)을 일관되게 복구하지만, 엘라스틱 넷은 특히 ρ=0일 경우 이를 실패한다.
• 저SNR 환경(예: SNR=0.05)에서는 엘라스틱 넷이 sdp₂를 능가하지만, 모든 높은 SNR 수준에서는 sdp₂가 훨씬 뛰어난 예측 정확도와 희소성 성능을 보인다.
• 이 방법은 ρ=0.00에서 ρ=0.35까지 다양한 상관관계 구조에서 강인성을 보이며, 라소와 엘라스틱 넷이 과적합을 일으키는 비상관관계 설정에서 뛰어난 성능을 발휘한다.