[논문 리뷰] Joint estimation of sparse multivariate regression and conditional graphical models

Junhui Wang|arXiv (Cornell University)|2013. 06. 19.

Statistical Methods and Inference참고 문헌 31인용 수 9

한 줄 요약

이 논문은 적응형 Lasso를 사용한 조건부 로그우도에 대한 정규화를 통해 희박한 다변량 회귀와 조건부 가우시안 그래픽 모델을 동시 추정하는 방법을 제안한다. 이 방법은 표본 크기와 함께 다변수의 수가 지수적으로 증가하는 상황에서도 점진적 선택 일致성과 정규성을 달성하면서, 희박한 회귀 계수와 정밀행렬을 동시에 추정할 수 있다.

ABSTRACT

Multivariate regression model is a natural generalization of the classical univari- ate regression model for fitting multiple responses. In this paper, we propose a high- dimensional multivariate conditional regression model for constructing sparse estimates of the multivariate regression coefficient matrix that accounts for the dependency struc- ture among the multiple responses. The proposed method decomposes the multivariate regression problem into a series of penalized conditional log-likelihood of each response conditioned on the covariates and other responses. It allows simultaneous estimation of the sparse regression coefficient matrix and the sparse inverse covariance matrix. The asymptotic selection consistency and normality are established for the diverging dimension of the covariates and number of responses. The effectiveness of the pro- posed method is also demonstrated in a variety of simulated examples as well as an application to the Glioblastoma multiforme cancer data.

연구 동기 및 목표

• 고차원 설정에서 다중 반응 간의 종속성 구조를 통합함으로써 단일 반응 회귀의 한계를 해결한다.
• 기본 다변량 회귀 모델에서 반응 간 종속성을 忽시하는 비효율성을 해결한다.
• 다양한 차원이 증가하는 고차원 데이터에서 희박한 다변량 회귀 계수와 희박한 정밀행렬을 동시에 추정한다.
• 고차원 점진적 분석 하에서, 회귀 및 그래픽 모델 구성 요소에 대해 선택 일치성과 점진적 정규성을 보장하는 이론적 보장을 수립한다.
• 이전의 동시 추정 방법에서 사용되는 반복 최적화 기반의 방법들에 비해 계산적으로 효율적인 대안을 제공한다.

제안 방법

• 각 반응을 예측변수와 다른 반응에 조건부로 모델링함으로써 다변량 회귀 문제를 일련의 조건부 로그우도로 재구성한다.
• 다변량 회귀 계수 행렬과 정밀행렬 양쪽에 적응형 Lasso 정규화를 적용하여 희박성을 유도한다.
• 일반 최적화 패키지로 해결 가능한, 확장된 적응형 Lasso 회귀 문제의 시퀀스로 동시 추정을 분해한다.
• 두 단계 추정 전략을 사용한다: 먼저 정밀행렬 추정을 통해 조건부 의존성 구조를 추정하고, 이후 적응형 가중치를 사용해 회귀 계수를 보정한다.
• 다변수 정규분포 가정 하에서의 조건부 독립 구조를 활용하여, 가우시안 그래픽 모델을 통해 반응 간 의존성을 모델링한다.
• 반복적인 교대 최적화를 피하고, 적응형 가중치를 적용한 직접적인 정규화 우도 프레임워크를 사용하여 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 희박한 다변량 회귀와 조건부 그래픽 모델의 동시 추정이 이론적 일치성과 함께 달성될 수 있는가?
• RQ2 표본 크기와 함께 예측변수 수 $p$와 반응 수 $q$가 지수적으로 증가할 때, 제안된 방법이 선택 일치성과 점진적 정규성을 유지하는가?
• RQ3 조건부 로그우도에 적응형 Lasso를 적용할 경우, $L_"infty$-노름 또는 표준 Lasso 정규화에 비해 추정 효율성과 희박성 향상에 어떤 기여를 하는가?
• RQ4 이 방법은 고차원 데이터에서 진짜 회귀 구조와 조건부 의존성 그래프를 효과적으로 복원할 수 있는가?
• RQ5 기존의 동시 추정 방법들과 비교해 본다면, 제안된 방법의 유한 표본 성능과 계산 확장성은 어떠한가?

주요 결과

• 제안된 방법은 다변수 차원이 증가하는 조건에서도 다변량 회귀 계수 행렬과 정밀행렬에 대해 점진적 선택 일치성을 달성한다.
• 추정기의 점진적 정규성이 입증되었으며, 정규성 조건 하에서 추정 계수의 점차적 분포가 정규분포로 수렴함을 보였다.
• 표본 크기 $n$에 대해 예측변수 수 $p$와 반응 수 $q$가 지수적으로 증가하더라도 방법이 일관성을 유지함을 확인하였다.
• 이론적 분석 결과, 표본 크기가 증가함에 따라 진짜 모델 구조를 정확히 식별할 확률이 1로 수렴함을 보였다.
• 시뮬레이션 데이터를 통한 수치 실험 결과, 경쟁 방법들에 비해 변수 선택과 추정 정확도에서 뛰어난 성능을 보였다.
• 다양한 뇌종양(Glioblastoma multiforme) 환자 데이터에 적용한 결과, 생물학적으로 타당한 유전자 조절 네트워크를 추출하고 예측 정확도가 향상되어, 제안된 방법의 실용적 유용성을 검증하였다.