[논문 리뷰] Spectral Learning of Large Structured HMMs for Comparative Epigenomics

Chicheng Zhang, Jimin Song외 2명|arXiv (Cornell University)|2015. 06. 04.

Genomics and Chromatin Dynamics참고 문헌 17인용 수 3

한 줄 요약

이 논문은 여러 인간 세포 유형 간에 은닉 상태 간에 트리 구조적 의존성이 있는 대규모 구조적 은닉 마르코프 모델(HMM)을 위한 새로운 스펙트럼 학습 알고리즘인 Spectral-Tree를 제안한다. 루트에서 잎으로 향하는 경로 분해, Skeletensor 구성, 그리고 곱셈 투영을 통해 트리 구조를 활용함으로써, 세포 유형 수에 대해 다항식 시간 복잡도를 달성하여, 다중 세포 유형 에피제놈 데이터로부터 코어마틴 상태 분할을 효율적이고 정확하게 학습할 수 있게 되었으며, EM 및 개별 HMM 학습 방식에 비해 성능 향상을 입증하였다.

ABSTRACT

We develop a latent variable model and an efficient spectral algorithm motivated by the recent emergence of very large data sets of chromatin marks from multiple human cell types. A natural model for chromatin data in one cell type is a Hidden Markov Model (HMM); we model the relationship between multiple cell types by connecting their hidden states by a fixed tree of known structure. The main challenge with learning parameters of such models is that iterative methods such as EM are very slow, while naive spectral methods result in time and space complexity exponential in the number of cell types. We exploit properties of the tree structure of the hidden states to provide spectral algorithms that are more computationally efficient for current biological datasets. We provide sample complexity bounds for our algorithm and evaluate it experimentally on biological data from nine human cell types. Finally, we show that beyond our specific model, some of our algorithmic ideas can be applied to other graphical models.

연구 동기 및 목표

• 다양한 인간 세포 유형을 모델링하는 대규모 구조적 HMM에 대해 EM 기반 학습의 계산 비가능성을 해결하기 위해.
• 은닉 상태가 트리 구조를 가진 HMM에 적용할 경우 기계적 스펙트럼 방법이 가지는 지수적 시간 및 공간 복잡도 문제를 해결하기 위해.
• 세포 계통수 나무의 생물학적 지식을 활용하여 계산적으로 효율적이고 확장 가능한 스펙트럼 알고리즘을 개발하기 위해.
• 실제 생물학적 데이터(9개 인간 세포 유형)를 기반으로 이론적 샘플 복잡도 경계를 도출하고 실증적 검증을 수행하기 위해.
• Product Projections와 같은 재사용 가능한 알고리즘 컴포넌트를 통해 다른 그래픽 모델로의 일반화를 가능하게 하기 위해.

제안 방법

• 각 세포 유형의 은닉 상태가 알려진 계통수 나무에서 부모 노드에 의존하는 트리 구조적 HMM이며, 각 노드는 독립적인 관측을 갖는다.
• 알고리즘은 각 루트에서 잎으로 향하는 경로를 별도로 처리하여, 낮은 깊이의 경로에서의 텐서 분해 문제로 문제를 축소한다.
• Skeletensor 구성은 랭크를 드러내는 행렬을 사용하여 텐서를 대칭화함으로써 전체 텐서 계산을 피하고, 차원을 단일 노드의 크기로 감소시킨다.
• Product Projections는 조건부 독립성을 활용하여 관측 텐서를 압축함으로써 전체 텐서 구축을 피하고, 복잡도를 은닉 상태 수에 비례로 감소시킨다.
• 텐서 분해 및 행렬 역행렬 기법을 사용하여, 약한 랭크 조건 하에서 오차가 제한된 전이 및 방출 행렬을 추정한다.
• 매트릭스 편향 이론을 사용하여 이론적 보장을 도출하였으며, 특히 Weyl의 정리와 Wedin의 정리를 활용하여 추정 오차를 제한한다.

실험 결과

연구 질문

• RQ1 다양한 생물학적 샘플에서 트리로 조직화된 은닉 상태를 가진 대규모 구조적 HMM에 대해 스펙트럼 학습을 확장 가능하게 만들 수 있는가?
• RQ2 세포 계통 관계의 트리 구조를 활용하면, 독립적 HMM이나 EM 대비 코어마틴 상태 분할의 정확도와 효율성이 향상되는가?
• RQ3 텐서 분해 방법을 다중 시각 그래픽 모델에서 세포 유형 수에 따라 지수적 복잡도가 증가하는 것을 방지하기 위해 적응시킬 수 있는가?
• RQ4 실제 생물학적 데이터 가정 하에 제안된 스펙트럼 알고리즘의 샘플 복잡도는 어떻게 되는가?
• RQ5 Product Projections와 같은 핵심 알고리즘 혁신은 HMM을 초월한 다른 잠재변수 모델로 일반화될 수 있는가?

주요 결과

• Spectral-Tree 알고리즘은 세포 유형 수에 대해 다항식 시간 복잡도를 달성하여, 기계적 스펙트럼 방법의 지수적 증가를 피한다.
• ENCODE의 9개 인간 세포 유형 데이터에서, 이 알고리즘은 변분 EM 및 개별 HMM 학습 방식보다 분할 정확도와 매개변수 추정에서 뛰어난 성능을 보였다.
• 이론적 샘플 복잡도 경계를 제공하여, 약한 랭크 조건 하에서 높은 확률로 진짜 매개변수로 수렴함을 보였다.
• Skeletensor 구성은 효과적인 텐서 차원을 단일 노드의 크기로 감소시켜 전체 텐서 저장 없이도 효율적인 계산을 가능하게 하였다.
• Product Projections는 은닉 상태 수에 비례한 복잡도로 압축된 텐서 추정을 가능하게 하여, 관측 수에 비례하지 않는 복잡도로 인해 확장성은 크게 향상되었다.
• 실증 결과는 전이 및 방출 확률의 개선된 추정을 보였으며, 적절한 샘플 크기 조건 하에서 오차 경계가 ε 수준임을 입증하였다.