[논문 리뷰] Robust Graphical Modeling with t-Distributions

Michael Finegold, Mathias Drton|arXiv (Cornell University)|2014. 08. 09.

Bayesian Modeling and Causal Inference참고 문헌 6인용 수 5

한 줄 요약

이 논문은 이상치가 있는 고차원 데이터에서 추론 성능을 향상시키기 위해 다변량 t분포를 활용한 강건한 그래픽 모델링을 제안한다. 볼록 최적화 기반의 최대우도 추정과 EM 알고리즘을 조합하여 효율적인 구조 학습을 구현하였으며, 비정규성과 꼬리가 두꺼운 관측치를 포함한 실제 유전자 발현 데이터에서 기존 정규분포 기반 그래픽 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Graphical Gaussian models have proven to be useful tools for exploring network structures based on multivariate data. Applications to studies of gene expression have generated substantial interest in these models, and resulting recent progress includes the development of fitting methodology involving penalization of the likelihood function. In this paper we advocate the use of the multivariate t and related distributions for more robust inference of graphs. In particular, we demonstrate that penalized likelihood inference combined with an application of the EM algorithm provides a simple and computationally efficient approach to model selection in the t-distribution case.

연구 동기 및 목표

• 고차원 환경에서 이상치와 꼬리가 두꺼운 데이터에 민감한 정규분포 기반 그래픽 모델의 문제점을 해결하기 위해.
• 다변량 t분포를 활용한 정규분포 기반 그래픽 모델의 강건한 대안을 개발하기 위해.
• 정규화된 최대우도 추정과 EM 알고리즘을 통해 t분포 기반 그래픽 모델의 모델 선택을 효율적으로 가능하게 하기 위해.
• 정규성 가정이 자주 위배되는 유전자 발현 데이터에서 네트워크 구조 추론 성능을 향상시키기 위해.
• 비정규성과 꼬리가 두꺼운 데이터 하에서 계산적으로 실현 가능한 강건한 그래픽 모델링 방법을 제공하기 위해.

제안 방법

• 그래픽 모델링의 기초 분포로 다변량 t분포를 채택하여 정규분포보다 이상치에 더 강건한 성질을 확보한다.
• t분포의 자유도를 강건성의 조절 파라미터로 삼고, 구조 학습을 위한 정규화된 최대우도 추정 방식을 수립한다.
• t분포가 내재적으로 지닌 잠재변수 구조를 처리하기 위해 EM 알고리즘을 구현하여 우도 계산의 효율성을 확보한다.
• EM 알고리즘을 활용해 평균, 공분산, 자유도를 반복적으로 추정하면서 농도 유도 페널티를 정밀행렬에 적용한다.
• 역 척도 행렬에 그래픽 라소 유형의 페널티를 적용하여 흐린 그래픽 구조를 유도한다.
• EM 프레임워크 내에서 좌표상승법을 활용해 정규화된 로그우도를 최적화하여 안정적인 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 꼬리가 두꺼운 또는 오염된 데이터 상황에서 다변량 t분포가 정규분포보다 더 강건한 그래픽 모델 추론을 제공할 수 있는가?
• RQ2 t분포 기반 그래픽 모델에 대해 정규화된 최대우도 추정을 어떻게 적응시켜 흐린 구조와 계산 효율성을 확보할 수 있는가?
• RQ3 잠재변수가 존재하는 t분포 기반 그래픽 모델에서 EM 알고리즘이 파라미터 추정 성능을 얼마나 향상시키는가?
• RQ4 실제 유전자 발현 데이터에서 제안된 방법이 정규분포 기반 그래픽 모델 대비 네트워크 복원 정확도 측면에서 얼마나 우수한가?
• RQ5 t분포의 자유도 파라미터가 모델의 강건성과 네트워크 구조 추정에 어떤 영향을 미치는가?

주요 결과

• 제안된 t분포 기반 그래픽 모델은 꼬리가 두꺼운 데이터나 오염된 관측치가 존재하는 조건에서 진정한 네트워크 구조를 더 잘 복원한다.
• 정규화된 최대우도 추정과 EM 알고리즘의 조합은 고차원 데이터에서도 안정적이고 효율적인 파라미터 추정을 가능하게 한다.
• 이상치로 인해 기존 정규분포 기반 모델이 실패하는 실제 유전자 발현 데이터셋에서도 의미 있는 유전자 조절 네트워크를 성공적으로 식별한다.
• t분포의 자유도 파라미터는 강건성 조절 역할을 하며, 낮은 값일수록 꼬리가 두꺼운 데이터에 더 강건하다.
• 실험 결과, t기반 모델은 정규분포 기반 모델 대비 더 높은 진짜 양성률과 낮은 거짓 발견률을 기록한다.
• 계산 복잡도는 유지 가능하여, 중간에서 고차원 생물정보학 데이터셋에 대해 확장 가능한 방법이다.