[논문 리뷰] Nonseparable Gaussian Stochastic Process: A Unified View and Computational Strategy

Mengyang Gu, Yanxun Xu|arXiv (Cornell University)|2017. 11. 30.

Advanced Multi-Objective Optimization Algorithms참고 문헌 30인용 수 3

한 줄 요약

이 논문은 비분리성 가우시안 스토하스틱 프로세스(GaSP) 모델을 통합적으로 제안하며, 새로운 계산 전략을 활용하여 표준적인 $O(n^3)$ 장벽을 우회함으로써 정확하고 선형 시간($O(n)$) likelihood 계산을 가능하게 한다. 이 방법은 선형 회귀와 분리 가능한 모델을 일반화하며, 랜덤 포레스트나 局소 Kriging과 같은 대안들보다 게놈 전역 DNA 메틸화 수준 예측에서 뛰어난 정확도를 보인다.

ABSTRACT

Gaussian stochastic process (GaSP) has been widely used as a prior over functions due to its flexibility and tractability in modeling. However, the computational cost in evaluating the likelihood is $O(n^3)$, where $n$ is the number of observed points in the process, as it requires to invert the covariance matrix. This bottleneck prevents GaSP being widely used in large-scale data. We propose a general class of nonseparable GaSP models for multiple functional observations with a fast and exact algorithm, in which the computation is linear ($O(n)$) and exact, requiring no approximation to compute the likelihood. We show that the commonly used linear regression and separable models are special cases of the proposed nonseparable GaSP model. Through the study of an epigenetic application, the proposed nonseparable GaSP model can accurately predict the genome-wide DNA methylation levels and compares favorably to alternative methods, such as linear regression, random forests and localized Kriging method.

연구 동기 및 목표

• 가우시안 스토하스틱 프로세스(GaSP)의 높은 계산 비용($O(n^3)$) 문제를 해결하기 위해 공분산 행렬의 역행렬 계산에 기인한 문제를 해결한다.
• 선형 회귀와 분리 가능한 모델을 특수한 경우로 포함하는 비분리성 GaSP 모델의 통합 프레임워크를 개발한다.
• 근사 없이 정확한 likelihood 평가를 선형 시간($O(n)$) 내에 가능하게 하여 대규모 기능 데이터 분석을 가능하게 한다.
• 에피제네틱스 데이터를 사용하여 게놈 전역 DNA 메틸화 수준을 예측하는 데 모델의 효과성을 입증한다.

제안 방법

• 다중 기능 입력 간의 탄력적인 의존성 구조를 허용하는 비분리성 GaSP 모델의 일반적 클래스를 제안한다.
• 공분산 행렬의 구조적 특성을 활용하여 빠르고 정확한 likelihood 계산 알고리즘을 설계한다.
• 저랭크 또는 계층적 분해를 통해 행렬 역행렬을 피하는 계산 전략을 활용하여 $O(n)$ 복잡도를 달성한다.
• 베이지안 프레임워크에 모델을 통합하여 전체 사후 추론과 불확실성 측정을 지원한다.
• 스토하스틱 근사나 변분 경계를 피하는 방식으로 정확성을 유지한다.
• 특히 에피제네틱스 게놈학에서 복잡한 공간적 및 기능적 의존성을 포착하기 위해 다차원 기능 데이터에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 비분리성 GaSP 모델을 통합 프레임워크 내에서 선형 회귀와 분리 가능한 모델을 특수한 경우로 포함시킬 수 있는가?
• RQ2 근사 없이 비분리성 GaSP 모델의 likelihood를 선형 시간($O(n)$) 내에 계산할 수 있는가?
• RQ3 기존 방법들과 비교해 복잡한 의존성 구조를 가진 기능 데이터에서 제안된 모델의 게놈 전역 DNA 메틸화 수준 예측 성능은 어떠한가?
• RQ4 비분리성은 복잡한 의존성 구조를 가진 기능 데이터에서 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 비분리성 GaSP 모델은 표준 GaSP의 $O(n^3)$ 장벽을 제거하고 $O(n)$ 시간 내에 정확한 likelihood 계산을 달성한다.
• 모델은 선형 회귀와 분리 가능한 GaSP 모델을 모두 일반화하여 그 통합적 능력을 입증한다.
• 에피제네틱스 적용 사례에서, 모델은 선형 회귀, 랜덤 포레스트, 국소 Kriging보다 게놈 전역 DNA 메틸화 수준 예측에서 뛰어난 성능을 보였다.
• 이 방법은 대규모 기능 데이터에 대한 확장 가능한 베이지안 추론을 가능하게 하여 GaSP를 고차원 게놈 응용 분야에서 실현 가능하게 한다.