[논문 리뷰] A Cluster Elastic Net for Multivariate Regression

Bradley S. Price, Ben Sherwood|arXiv (Cornell University)|2017. 07. 12.

Advanced Statistical Methods and Models인용 수 7

한 줄 요약

이 논문은 다변량 회귀에서 회귀 계수와 반응 변수를 동시에 추정하는 클러스터 엘라스틱 넷 방법을 제안한다. 이는 클러스터 융합과 L1 페널티를 포함한 페널티 likelihood를 사용하며, 예측 정확도를 향상시키고 반응 변수 간의 관계를 드러낸다. 고차원 설정(p ≫ n)에 대해 이론적 보장이 있으며, 좌표 강하와 프록시 알고리즘을 통해 이항 반응 변수로의 확장도 가능하다.

ABSTRACT

We propose a method for estimating coefficients in multivariate regression when there is a clustering structure to the response variables. The proposed method includes a fusion penalty, to shrink the difference in fitted values from responses in the same cluster, and an L1 penalty for simultaneous variable selection and estimation. The method can be used when the grouping structure of the response variables is known or unknown. When the clustering structure is unknown the method will simultaneously estimate the clusters of the response and the regression coefficients. Theoretical results are presented for the penalized least squares case, including asymptotic results allowing for p >> n. We extend our method to the setting where the responses are binomial variables. We propose a coordinate descent algorithm for both the normal and binomial likelihood, which can easily be extended to other generalized linear model (GLM) settings. Simulations and data examples from business operations and genomics are presented to show the merits of both the least squares and binomial methods.

연구 동기 및 목표

• 다변량 회귀에서 회귀 계수 추정과 반응 변수 클러스터링을 동시에 수행하여 예측 정확도를 향상시키는 방법을 개발한다.
• 동시에 변수 선택을 위해 L1 페널티를 적용하면서, 동일 클러스터 내 반응 변수의 적합값을 융합하는 클러스터 융합 페널티를 통합한다.
• 고차원 설정(p ≫ n) 하에서 페널티 최소 제곱 추정량의 이론적 일致성 결과를 제공한다.
• 유용한 선형 모형(GLM)으로의 확장을 위해 특히 이항 반응 변수에 적용 가능한 방법을 개발한다. 생물정보학 및 비즈니스 운영 분야의 응용을 위해 설계된다.
• 계산 효율적인 알고리즘 설계 — 정규 분포의 경우 좌표 강하, 이항 분포의 경우 프록시 기반 강하를 사용하여 확장성과 병렬 처리를 가능하게 한다.

제안 방법

• 클러스터 융합 페널티를 통해 동일 클러스터 내 반응 변수의 적합값 간 차이를 줄이고, 동시에 L1 페널티를 통해 변수 선택과 추정을 동시에 수행하는 페널티 likelihood 추정량을 제안한다.
• 고정된 클러스터 하에서 페널티 likelihood를 해결하고 k-means 클러스터링을 번갈아 수행하는 이중 단계 반복 알고리즘을 사용하며, 클러스터 융합 페널티 덕분에 병렬 계산이 가능하다.
• 정규 likelihood의 경우 좌표 강하 알고리즘, 이항 likelihood의 경우 프록시 기반 강하 알고리즘을 사용하며, 이는 다른 GLM 설정으로도 확장 가능하다.
• 최소 제곱 사례에 대해 이론적 결과를 도출하며, 고차원 점근적 설정(p ≫ n) 하에서 일관성과 오차 한계를 보장한다. 이는 희박성과 제한된 고유값 조건을 가정한다.
• 정규 및 이항 반응 모델에 모두 적용하며, 추정 오차와 클러스터 복원에 대한 이론적 보장을 제공한다.
• 행렬 표기법을 사용하여 X ∈ ℝ^{n×p}, Y ∈ ℝ^{n×r}, 계수 행렬 B* ∈ ℝ^{p×r}를 사용하며, 클러스터 융합 페널티는 동일 클러스터 내 반응 변수 간 적합값의 차이에 작용한다.

실험 결과

연구 질문

• RQ1 반응 변수의 클러스터링과 회귀 계수 추정을 동시에 수행하는 것이 다변량 회귀에서 예측 정확도를 향상시킬 수 있는가?
• RQ2 고차원 설정(p ≫ n)에서 페널티 likelihood 프레임워크를 통해 변수 선택과 반응 변수의 클러스터 융합을 동시에 수행할 수 있는가?
• RQ3 고차원 점근적 설정 하에서 제안된 추정량의 이론적 성질, 특히 일관성과 추정 오차 한계는 무엇인가?
• RQ4 이 방법은 일반화 선형 모형으로 확장될 수 있으며, 특히 이항 반응 변수에 대해 적용 가능할까? 이를 뒷받침하는 알고리즘 접근법은 무엇인가?
• RQ5 실제 생물정보학 및 비즈니스 운영 분야의 데이터에서 진짜 반응 클러스터를 얼마나 잘 복원하고 관련 예측 변수를 식별하는가?

주요 결과

• 고차원 점근적 설정(p ≫ n) 하에서 회귀 계수 추정이 일관되게 이루어지며, 높은 확률로 추정 오차가 O(√(s log(rp)/n)) 이내로 제한된다.
• 이론적 분석 결과, 조정 파rameter가 적절히 선택되고 설계 행렬이 제한된 고유값 조건을 만족할 경우, 추정량이 진짜 클러스터 구조를 높은 확률로 복원함을 보여준다.
• 이항 반응 변수의 경우, 프록시 기반 강하 알고리즘이 수렴하며, 클러스터링된 반응 변수에 대한 로지스틱 회귀 적용을 가능하게 한다.
• 시뮬레이션 결과 표준 다변량 회귀 및 별도의 라소 모델 대비 더 높은 예측 정확도와 더 나은 변수 선택 성능을 보였다.
• 생물정보학 및 비즈니스 운영 분야의 실제 데이터 예제에서는 생물학적 또는 운영적으로 의미 있는 반응 클러스터를 식별하고, 더 나은 모델 적합도를 달성하는 데 성공하였다.
• 이중 단계 알고리즘은 클러스터 융합 페널티 덕분에 유리한 병렬 계산 성질을 가지며, 대규모 데이터셋에 대한 확장 가능한 구현을 가능하게 한다.