[논문 리뷰] Gaussian process modelling of multiple short time series

Hande Topa, Antti Honkela|arXiv (Cornell University)|2012. 10. 09.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 3

한 줄 요약

이 논문은 고 throughput 생물학적 데이터에서 과적합과 과소적합 문제를 해결하기 위해 다수의 짧은 시계열에 대해 제약 조건이 부여된 가우시안 프로세스(GP) 모델링을 제안한다. 샘플링 주기의 니크비스트 주파수를 바탕으로 한 빈도 기반 길이 척도 경계를 엄밀하게 유도하고 관측 노이즈에 대한 정보가 풍부한 사전 분포를 사용함으로써, 수천 개의 짧은 시계열에 대해 수동 조정 없이 신뢰할 수 있는 자동 피팅이 가능해지며, 이는 시뮬레이션 데이터와 유전자 발현 데이터에서 검증되었으며, 문제가 되는 피팅 수를 크게 감소시켰다.

ABSTRACT

We present techniques for effective Gaussian process (GP) modelling of multiple short time series. These problems are common when applying GP models independently to each gene in a gene expression time series data set. Such sets typically contain very few time points. Naive application of common GP modelling techniques can lead to severe over-fitting or under-fitting in a significant fraction of the fitted models, depending on the details of the data set. We propose avoiding over-fitting by constraining the GP length-scale to values that focus most of the energy spectrum to frequencies below the Nyquist frequency corresponding to the sampling frequency in the data set. Under-fitting can be avoided by more informative priors on observation noise. Combining these methods allows applying GP methods reliably automatically to large numbers of independent instances of short time series. This is illustrated with experiments with both synthetic data and real gene expression data.

연구 동기 및 목표

• 유전자 발현 데이터에서 흔히 발생하는 수천 개의 짧은 시계열에 대한 가우시안 프로세스(GP) 모델링에서 과적합과 과소적합 문제를 해결하기 위해.
• 생물학적 GP 응용에서 이론적으로나 마땅치 않게 사용된 길이 척도 경계에 대한 엄밀한 이론적 기반을 제공하기 위해.
• 모델 수동 조정 없이 수천 개의 독립된 짧은 시계열에 대해 완전히 자동화되고 신뢰할 수 있는 GP 피팅을 가능하게 하기 위해.
• 유전자 조절망 추론과 같은 후속 분석의 정확도를 향상시키기 위해 GP 모델 피팅을 안정화하기 위해.
• 시스템 생물학에서 더 복잡하고 영리한 GP 모델로의 전환을 지원하기 위해, 예상치 못한 과적합 실패 모드를 방지하기 위해.

제안 방법

• 샘플링 주기의 니크비스트 주파수를 기반으로 한 빈도 기반 길이 척도 경계를 엄밀하게 유도하여 대부분의 에너지가 재구성 가능한 주파수 대역에 집중되도록 보장한다.
• 과적합을 방지하기 위해 길이 척도 파라미터 ℓ에 하한 경계를 적용한다.
• 낮은 신호 환경에서의 과소적합을 줄이기 위해 관측 노이즈 σ²ₙ에 더 정보가 풍부한 사전 분포를 사용한다.
• 경계가 부여된 ℓ와 사전 처리에서 고정된 σ²ₙ을 조합하여 다양한 데이터 인스턴스 간의 모델 피팅을 안정화한다.
• 제약 조건이 부여된 초모수를 사용한 최대 우도 추정을 통해 고 throughput 환경에서의 강건성을 확보한다.
• 시뮬레이션 데이터와 시스템 생물학에서의 실제 유전자 발현 시계열을 사용하여 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 몇 개의 관측치만 있는 짧은 시계열에 대해 피팅된 가우시안 프로세스 모델에서 과적합이 발생하는 원인은 무엇인가?
• RQ2 짧은 시계열을 위한 GP 모델에서 과적합을 방지하기 위해 이론적으로 타당한 길이 척도 경계를 어떻게 도출할 수 있는가?
• RQ3 정보가 풍부한 관측 노이즈 사전 분포는 희박한 데이터 환경에서 과소적합을 어떻게 완화하는가?
• RQ4 길이 척도 제약 조건과 노이즈 사전 분포가 수천 개의 독립된 시계열에 걸쳐 대규모 GP 피팅의 신뢰성을 어떻게 향상시키는가?
• RQ5 실제 생물학적 데이터, 예를 들어 유전자 발현 시계열에서 이러한 제약 조건이 문제가 되는 모델 피팅 비율을 어느 정도 감소시키는가?

주요 결과

• 제안된 길이 척도 경계는 과적합을 크게 줄이며, 제약 조건이 없을 경우 7.3%의 모델에서 ℓ < aₗ 가 관찰되었으나, 경계가 적용된 경우 0%로 감소한다.
• 관측 노이즈 사전 분포는 과소적합을 줄이며, 노이즈가 고정된 경우 σ²ₙ < 0.01 인 모델 비율이 8.3%에서 6.7%로 감소한다.
• 단일 타겟 ODE 모델에서 경계가 부여된 ℓ와 고정된 σ²ₙ의 조합이 TIN과 같이 약하게 발현된 조절자에서 심각한 과적합을 수정했다.
• 이 방법은 6,795개 유전자에 걸쳐 신뢰할 수 있는 자동 피팅을 가능하게 하여 대규모 분석에서 수동 조정을 줄였다.
• 우도 표면 분석은 작은 길이 척도가 점 추정의 산물이 아니라 희박한 데이터에서 진정으로 과적합 경향을 반영한다는 것을 확인했다.
• 비 cascaded ODE와 같은 복잡한 모델에서도 제약 조건이 적용된 경우 과적합 비율이 낮게 유지되어, 이 방법이 효과적임을 입증했다.