[논문 리뷰] Efficient Regularized Regression for Variable Selection with L0 Penalty

Zhenqiu Liu, Gang Li|arXiv (Cornell University)|2014. 07. 28.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 고차원 회귀 문제에서 NP-완전한 L₀ 정규화 문제를 직접 해결하기 위해 반복적으로 볼록 L₂ 릿지 회귀를 최적화하는 효율적인 EM 알고리즘(L₀ EM)을 제안한다. 이 방법은 LASSO보다 더 낮은 편향을 보이며 변수 선택 성능이 뛰어나고, 교차검증 없이도 AIC/BIC를 통한 직접적인 모델 선택이 가능하며, 고차원 게놈 데이터에서 생물학적으로 관련성이 있는 유전자와 경로를 효과적으로 규명한다.

ABSTRACT

Variable (feature, gene, model, which we use interchangeably) selections for regression with high-dimensional BIGDATA have found many applications in bioinformatics, computational biology, image processing, and engineering. One appealing approach is the L0 regularized regression which penalizes the number of nonzero features in the model directly. L0 is known as the most essential sparsity measure and has nice theoretical properties, while the popular L1 regularization is only a best convex relaxation of L0. Therefore, it is natural to expect that L0 regularized regression performs better than LASSO. However, it is well-known that L0 optimization is NP-hard and computationally challenging. Instead of solving the L0 problems directly, most publications so far have tried to solve an approximation problem that closely resembles L0 regularization. In this paper, we propose an efficient EM algorithm (L0EM) that directly solves the L0 optimization problem. $L_0$EM is efficient with high dimensional data. It also provides a natural solution to all Lp p in [0,2] problems. The regularized parameter can be either determined through cross-validation or AIC and BIC. Theoretical properties of the L0-regularized estimator are given under mild conditions that permit the number of variables to be much larger than the sample size. We demonstrate our methods through simulation and high-dimensional genomic data. The results indicate that L0 has better performance than LASSO and L0 with AIC or BIC has similar performance as computationally intensive cross-validation. The proposed algorithms are efficient in identifying the non-zero variables with less-bias and selecting biologically important genes and pathways with high dimensional BIGDATA.

연구 동기 및 목표

• 특징 수가 표본 크기보다 훨씬 큰 고차원 데이터에서 직접 L₀ 정규화의 계산 불가능성을 해결하기 위해.
• L₁(LASSO)의 볼록 완화를 피하고 L₀ 페널티를 직접 최적화하는 방법을 개발하기 위해.
• 정규화 파라미터 λ를 조정하기 위해 교차검증을 대체할 수 있는 계산적으로 효율적인 대안을 제공하기 위해.
• 고차원 옴믹스 데이터에서 진정으로 관련성이 있는 변수와 생물학적으로 의미 있는 유전자 및 경로를 정확하게 규명하기 위해.
• Lₚ 페널티(0 ≤ p ≤ 2) 전반에 걸쳐 프레임워크를 확장하여 LASSO(p=1), 엘라스틱넷(p∈[1,2]), 비볼록 Lₚ(p∈(0,1]) 정규화를 포함하기 위해.

제안 방법

• L₀ EM 알고리즘은 잠재변수 η를 현재 매개변수 추정치 θ로 설정하는 E단계와, 가중 릿지 회귀를 통해 θ를 갱신하는 M단계를 반복적으로 수행한다.
• M단계는 최적화 문제 θ = (XₜₐₜX + λI)⁻¹Xₜₐₜy를 해결하며, 여기서 Xₜₐₜ는 가중치 η²⁻ᵖ를 가진 가중 설계 행렬이다.
• 알고리즘은 L₀ 페널티의 부드러운 근사에서 유도되며, 비볼록 L₀ 문제를 볼록 하위문제의 시퀀스로 변환한다.
• 이 방법은 p ∈ [0,2]에 대해 모든 Lₚ 페널티로 자연스럽게 일반화되며, 페널티 항은 ∑|θⱼ|ᵖ = ∑θⱼ² / ηⱼ²⁻ᵖ로 재작성된다.
• 약한 조건 하에서 수렴이 보장되며, 각 반복 후 유일한 해로 수렴한다.
• 최종 하드 스위칭 단계에서 |θⱼ| < ε이면 θⱼ = 0으로 설정하여 희박성(스패arsity)을 강제한다.

실험 결과

연구 질문

• RQ1 고차원 회귀 설정에서 L₀ 페널티의 직접 최적화가 효율적으로 달성될 수 있는가?
• RQ2 L₀ 정규화 회귀는 변수 선택 정확도, 추정 편향, 예측 오차 측면에서 LASSO를 능가하는가?
• RQ3 AIC 및 BIC와 같은 모델 선택 기준이 교차검증 없이도 최적의 λ를 결정하는 데 효과적으로 사용될 수 있는가?
• RQ4 L₀ EM 방법은 고차원 그래프 모델에서 가짜 발동률(FDR)을 잘 제어하는가?
• RQ5 이 방법은 실제 고차원 게놈 데이터에서 생물학적으로 관련성이 있는 유전자 및 경로를 식별할 수 있는가?

주요 결과

• L₀ 정규화 회귀는 특히 약한 상관관계를 가진 구조에서 LASSO보다 변수 선택 정확도가 뛰어나며, 더 낮은 거짓 양성률과 더 작은 테스트 MSE를 기록한다.
• L₀ EM 알고리즘은 LASSO보다 더 낮은 추정 편향을 보이며, 이는 진정으로 비영이 아닌 계수값조차도 영으로 수축되는 경향이 있는 LASSO의 특성과 대비된다.
• AIC와 BIC는 계산적으로 비용이 많이 드는 교차검증과 유사한 성능을 보이는 최적의 λ 값을 제공하며, 경로 기반의 조정이 필요 없어진다.
• 그래프 모델 시뮬레이션에서 다양한 표본 크기에서 FDR가 매우 낮게 유지되어 FDR 제어가 매우 효과적으로 이루어진다.
• 난소암 유전자 발현 데이터에서, FAP, CTSK, SPARC, COL1A1와 같은 알려진 암 관련 유전자를 포함한 생물학적으로 의미 있는 하위네트워크를 성공적으로 규명하였다.
• 이 방법은 핵심 생물학적 경로와 잠재적 치료 표적을 효과적으로 식별하며, 시스템 생물학과 바이오마커 발견 분야에서의 유용성을 입증한다.