[논문 리뷰] A general multiblock method for structured variable selection

Tommy Löfstedt, Fouad Hadj‐Selem외 6명|arXiv (Cornell University)|2016. 10. 29.

Statistical Methods and Inference참고 문헌 11인용 수 4

한 줄 요약

이 논문은 RGCCA 프레임워크 내에서 구조적이고 희소성 유도형 페널티를 포함하는 일반화된 다중 블록 방법을 제안한다. 이는 $\tau \in [0,1]$를 통해 유연한 정규화를 가능하게 하며, 그룹 라소 및 총 변동성과 같은 구조적 페널티를 지원한다. 시뮬레이션 데이터에서 진정한 기저 가중 벡터를 성공적으로 복원하고, 고등급 뇌신종양 데이터셋에서 임상적으로 관련성이 있는 유전자 그룹을 식별하여 변수 선택 및 예측 성능 향상을 입증한다.

ABSTRACT

Regularised canonical correlation analysis was recently extended to more than two sets of variables by the multiblock method Regularised generalised canonical correlation analysis (RGCCA). Further, Sparse GCCA (SGCCA) was proposed to address the issue of variable selection. However, for technical reasons, the variable selection offered by SGCCA was restricted to a covariance link between the blocks (i.e., with $τ=1$). One of the main contributions of this paper is to go beyond the covariance link and to propose an extension of SGCCA for the full RGCCA model (i.e., with $τ\in[0, 1]$). In addition, we propose an extension of SGCCA that exploits structural relationships between variables within blocks. Specifically, we propose an algorithm that allows structured and sparsity-inducing penalties to be included in the RGCCA optimisation problem. The proposed multiblock method is illustrated on a real three-block high-grade glioma data set, where the aim is to predict the location of the brain tumours, and on a simulated data set, where the aim is to illustrate the method's ability to reconstruct the true underlying weight vectors.

연구 동기 및 목표

• SGCCA에서 $\tau=1$ (공분산 연결)로 제한되는 정규화의 한계를 극복하여 RGCCA 프레임워크 내에서 완전한 유연성을 확보하기 위해.
• 블록 내 변수 간 관계에 대한 사전 지식을 활용하기 위해, 그룹 라소 및 총 변동성과 같은 구조적 페널티를 RGCCA 최적화에 통합하기 위해.
• 다중 블록 데이터 분석에서 동시에 희소성과 구조를 지원하는 일반화된 알고리즘 개발하기 위해.
• 실제 생물학적 데이터(고등급 뇌신종양)와 시뮬레이션 데이터를 기반으로 방법을 검증하여 진정한 기저 가중 벡터를 복원할 수 있는 능력을 입증하기 위해.

제안 방법

• 메서드는 $\tau_k \in [0,1]$를 도입하여 내적에서 공분산과 상관관계를 균형 있게 조절함으로써 RGCCA를 확장하여, 다양한 정규화 체계를 지원한다.
• 변수 간 관계가 알려진 경우(예: 유전자 그룹, 공간적 근접성)에 함께 선택될 수 있도록, 구조적 페널티(예: 그룹 라소, 총 변동성)를 최적화 문제에 통합한다.
• 일반화된 노름 제약 조건 $\mathbf{w}_k^T \mathbf{M}_k \mathbf{w}_k = 1$을 사용하여 최적화 문제를 설정하며, 여기서 $\mathbf{M}_k = \tau_k \mathbf{I}_{p_k} + \frac{1-\tau_k}{n-1} \mathbf{X}_k^T \mathbf{X}_k$이다.
• 이차 페널티에 대해 빠른 투영 알고리즘을 유도하여 구조적 희소성의 효율적 계산을 가능하게 한다.
• 각 블록에 대해 다수의 페널티 유형을 지원하여 데이터 구조에 맞게 정규화를 적응시킨다(예: 유전자 집합에는 그룹 라소, 공간 데이터에는 총 변동성).
• 구조적 제약 조건 하에서 가중 벡터에 대해 교차 최적화를 수행하는 블록좌표강하 방식으로 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 제한적인 $\tau=1$ 경우를 초월하여, 구조적 변수 선택이 RGCCA 프레임워크에 효과적으로 통합될 수 있는가?
• RQ2 잡음과 복잡한 변수 구조가 존재하는 상황에서, 제안된 방법이 진정한 기저 가중 벡터를 얼마나 잘 복원할 수 있는가?
• RQ3 실제 다중 블록 온믹스 데이터(예: 뇌신종양 종양 위치 예측)에서 구조적 페널티가 예측 성능 향상과 생물학적 해석 가능성 향상에 기여하는가?
• RQ4 시뮬레이션 데이터에서 다양한 구조적 페널티(예: 그룹 라소, 총 변동성)가 진짜 신호 패턴을 얼마나 잘 복원하는가?

주요 결과

• 시뮬레이션 데이터에서 총 변동성 페널티가 가장 효과적으로 진짜 기저 가중 벡터를 재구성하였으며, 부드러움을 유지하면서 잡음을 제거하고 신호 무결성을 유지하였다.
• 그룹 라소 페널티는 진짜 가중치가 0인 그룹을 성공적으로 식별하고 제거하였으며, 활성 그룹의 평균을 근사하였지만 약간의 잔여 잡음이 존재하였다.
• 실제 뇌신종양 데이터셋에서, 알츠하이머병(hsa05010), 축삭 유도(hsa04360), 뉴클레오티드 수복 복구(hsa03420)와 같은 생물학적으로 관련성이 있는 유전자 그룹을 식별하였으며, 이는 종양 위치 및 약물 내성과 연관되어 있다.
• 시트르산 회로(TCA 회로, hsa00020)는 종양 위치 예측에서 특이성이 낮을 수 있으므로 모델에서 제외되었다.
• 부트스트랩 평균을 통해 첫 번째 및 두 번째 성분에서 각각 125.5개와 126.3개의 그룹이 선택된 것으로 나타나 안정적인 그룹 선택이 이루어졌음을 확인하였다.
• 특히 첫 번째 성분에서 총 변동성이 잡음이 존재하는 상황에서도 진짜 프로파일을 유지함으로써, 희소화되지 않은 RGCCA보다 노이즈 감소 및 신호 복원에서 뛰어난 성능을 보였다.