[논문 리뷰] Latent variable model selection for Gaussian conditional random fields

Benjamin Frot, Luke Jostins외 1명|arXiv (Cornell University)|2015. 12. 20.

Gene expression and cancer classification참고 문헌 35인용 수 3

한 줄 요약

이 논문은 잠재 변수가 존재하는 상황에서 가우시안 조건부 무작위 필드를 학습하기 위해 저질서수 + 희소 분해 방법을 제안하며, 정규화된 최대우도 추정을 사용한다. 이 방법은 스파스시스턴트 그래프 복원을 달성하고 시뮬레이션과 실제 유전체 데이터 응용에서 기존 방법을 능가하여 생물학적 관련성과 코hort 간 복제성 향상을 보인다.

ABSTRACT

We consider the problem of learning a conditional Gaussian graphical model in the presence of latent variables. Building on recent advances in this field, we suggest a method that decomposes the parameters of a conditional Markov random field into the sum of a sparse and a low-rank matrix. We derive convergence bounds for this estimator and show that it is well-behaved in the high-dimensional regime as well as "sparsistent" (i.e. capable of recovering the graph structure). We then show how proximal gradient algorithms and semi-definite programming techniques can be employed to fit the model to thousands of variables. Through extensive simulations, we illustrate the conditions required for identifiability and show that there is a wide range of situations in which this model performs significantly better than its counterparts, for example, by accommodating more latent variables. Finally, the suggested method is applied to two datasets comprising individual level data on genetic variants and metabolites levels. We show our results replicate better than alternative approaches and show enriched biological signal.

연구 동기 및 목표

• 관측된 의존성에 잠재 변수가 혼란을 줄 때 조건부 가우시안 그래픽 모델을 학습하는 데 도전 과제를 해결하기 위해.
• 측정된 공변량에 조건부로 관측 변수를 동시에 모델링하면서도 관측되지 않은 잠재 요인을 고려하기 위해.
• p > n 인 고차원 설정에서 일致성과 스파스시스턴트를 보장하기 위해.
• 실제 유전자 및 옴믹스 데이터 시나리오에서 기존 방법보다 모델 식별성과 성능을 향상시키기 위해.

제안 방법

• 반응 변수의 정밀행렬을 직접 조건부 의존성(희소 성분)과 잠재 변수 효과(저질서수 성분)로 분해한다.
• l1-노름(희소성용)과 노름핵(저질서수 구조용)을 조합한 펜alties를 포함한 정규화된 최대우도 추정기를 사용한다.
• 근사 기반 경사 하강 알고리즘과 준정적 프로그래밍을 활용하여 목적 함수를 효율적으로 최적화하며, 수천 개의 변수로 확장 가능하다.
• 최적화 문제를 분산 및 확장 가능한 방식으로 해결하기 위해 교차 방향 승수법(ADMM)을 적용한다.
• 조정 파rameter 선택에 대한 민감도를 줄이고 오류 제어를 향상시키기 위해 보완 쌍을 사용한 안정성 선택을 통합한다.
• 이론적 수렴 경계를 유도하고 적절한 식별성 조건 하에서 일관성과 스파스시스턴트를 확립한다.

실험 결과

연구 질문

• RQ1 p > n 인 고차원 설정에서 잠재 변수가 존재하는 조건부 가우시안 그래픽 모델을 일관성 있게 추정할 수 있는가?
• RQ2 잠재 혼란 요인 존재 시 저질서수 + 희소 분해가 어떤 조건에서 식별 가능한가?
• RQ3 실제 유전체 데이터에서 제안된 방법이 기존 접근법에 비해 그래프 구조 복원 및 생물학적 관련성 측면에서 어떻게 비교되는가?
• RQ4 유전 연구에서 독립 코hort 간 결과 복제성 향상에 모델이 어느 정도 기여하는가?
• RQ5 조정 파ram터 선택에 대해 이 방법은 얼마나 민감한가? 안정성 선택은 민감도를 완화할 수 있는가?

주요 결과

• 적절한 식별성 조건 하에서 고차원 설정에서 제안된 추정기는 일관성과 스파스시스턴트를 확보한다.
• 특히 다수의 잠재 변수가 존재할 경우 시뮬레이션에서 기존 방법보다 뚜렷이 뛰어난 성능을 보인다.
• ALSPAC 유전체 데이터셋에서 LSCGGM는 어머니와 자녀 코hort 간에 가장 높은 복제율을 기록했으며, 안정된 파rameter 영역에서 경쟁 방법보다 높은 값을 보였다.
• 독립적 자료 및 경로 부 enrichment 분석을 통해 다른 대안보다 생물학적 신호를 더 효과적으로 복제함을 검증했다.
• lasso 기반 추정기보다 조정 파ram터 γ에 대한 민감도가 감소하여 실용적 사용성 향상이 있었다.
• 보완 쌍을 사용한 안정성 선택은 강인성을 향상시키고 오류 제어를 제공하여 고차원 데이터에서 신뢰할 수 있는 인과적 가설 생성을 지원했다.