[논문 리뷰] Regression shrinkage and grouping of highly correlated predictors with HORSES

Woncheol Jang, Johan Lim외 3명|arXiv (Cornell University)|2013. 02. 01.

Statistical Methods and Inference참고 문헌 15인용 수 4

한 줄 요약

이 논문은 양의 상관관계 구조를 활용하여 변수 선택과 높은 상관관계를 가진 예측변수의 군집화를 동시에 수행하는 새로운 정규화 방법인 HORSES를 제안한다. 이 방법은 계수와 그 상호 차이의 하이브리드 L1 펜alties를 사용하며, 희박성과 양의 상관관계를 가진 변수의 군집화를 촉진하는 육각형 제약 영역을 형성한다. 저차원 및 고차원 데이터에서 기존 방법들보다 예측 정확도와 모델의 단순성 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Identifying homogeneous subgroups of variables can be challenging in high dimensional data analysis with highly correlated predictors. We propose a new method called Hexagonal Operator for Regression with Shrinkage and Equality Selection, HORSES for short, that simultaneously selects positively correlated variables and identifies them as predictive clusters. This is achieved via a constrained least-squares problem with regularization that consists of a linear combination of an L_1 penalty for the coefficients and another L_1 penalty for pairwise differences of the coefficients. This specification of the penalty function encourages grouping of positively correlated predictors combined with a sparsity solution. We construct an efficient algorithm to implement the HORSES procedure. We show via simulation that the proposed method outperforms other variable selection methods in terms of prediction error and parsimony. The technique is demonstrated on two data sets, a small data set from analysis of soil in Appalachia, and a high dimensional data set from a near infrared (NIR) spectroscopy study, showing the flexibility of the methodology.

연구 동기 및 목표

• 고차원 회귀 설정에서 높은 상관관계를 가진 예측변수의 선택과 군집화 문제를 해결하기 위해.
• 음의 상관관계를 가진 변수들을 포함하지 않고 오직 양의 상관관계를 가진 예측변수들만 군집화하는 방법을 개발하기 위해.
• L1 정규화와 상호 계수 차이 페널티를 조합하여 희박성과 예측 정확도를 동시에 달성하기 위해.
• 특히 p > n 상황에서 적용 가능한 계산적으로 효율적인 알고리즘을 제공하기 위해.
• 시뮬레이션과 실제 데이터 응용을 통해 방법의 유연성과 우수성을 입증하기 위해.

제안 방법

• HORSES는 계수의 L1 노름과 계수 간 상호 차이의 L1 노름을 조합한 페널티 함수를 포함하는 제약 조건이 있는 최소 제곱 문제를 해결한다.
• 페널티는 α∑|βj| + (1−α)∑|βj−βk|로 정의되며, α는 희박성과 군집화 사이의 균형을 조절한다.
• 제약 영역은 계수 공간에서 육각형 형태를 띠며, 양의 상관관계를 가진 예측변수들에 대해 동일한 계수 값을 선호한다.
• d⁻¹의 하한을 α에 설정함으로써 희박성을 보장하며, d=√p를 추천하여 엘라스틱 넷과의 일致성을 유지한다.
• 고차원 데이터(p > n)에 적용 가능한 효율적인 최적화 알고리즘을 개발하였다.
• 모델 적합도와 복잡도의 균형을 위해 교차검증 또는 정보기준을 통해 튜닝 파rameter α와 t를 선택한다.

실험 결과

연구 질문

• RQ1 정규화 방법이 고차원 회귀에서 양의 상관관계를 가진 예측변수들만 효과적으로 군집화하면서도 희박성을 유지할 수 있는가?
• RQ2 HORSES는 LASSO, 엘라스틱 넷, OSCAR와 같은 기존 방법들과 비교해 예측 오차와 모델의 단순성 측면에서 어떻게 성능을 내는가?
• RQ3 HORSES에서의 육각형 제약 영역이 다른 정규화 형태보다 더 해석 가능하고 균일한 예측변수 군집을 이끌어내는가?
• RQ4 HORSES는 p > n 조건에서도 계산 효율성과 통계적 일致성을 유지하면서 고차원 데이터를 처리할 수 있는가?
• RQ5 유전적 또는 뇌영상 데이터와 같이 상관관계가 있지만 공간적 연속성이 없는 예측변수들에 대해서도 이 방법이 강인한가?

주요 결과

• 시뮬레이션 연구에서 HORSES는 LASSO, 리지 회귀, 엘라스틱 넷, OSCAR보다 예측 오차를 크게 감소시켰다.
• 희박성을 높이기 위해 더 적은 수의 더 균일한 양의 상관관계를 가진 예측변수 군집을 선택함으로써 더 높은 단순성 성취.
• 근적외선 스펙트로스코피 데이터에서는 HORSES가 화학 조성과 관련된 생물학적으로 의미 있는 파장 군집을 성공적으로 식별하였다.
• 애파라치안 토양 데이터에서는 HORSES가 경쟁 방법들보다 예측 정확도와 군집 균일성 측면에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 HORSES는 α에 하한을 설정함으로써 비유일 해를 피하는 것으로 확인되었으며, 이는 희박성을 보장한다.
• 공간적 연속성이 없는 상관관계를 가진 예측변수들에 대해서도 강인함을 보이며, 공간적으로 구조화된 데이터를 넘어서도 뛰어난 유연성을 보인다.