[論文レビュー] Spectral Learning of Large Structured HMMs for Comparative Epigenomics

Chicheng Zhang, Jimin Song+2 more|arXiv (Cornell University)|Jun 4, 2015

Genomics and Chromatin Dynamics参考文献 17被引用数 3

ひとこと要約

本論文では、複数のヒト細胞系において隠れ状態間にツリー構造的依存関係を持つ大規模な構造的隠れマルコフモデル（HMM）のための、新しいスペクトル学習アルゴリズムであるSpectral-Treeを提案する。ルートから葉へのパス分解、Skeletensor構築、および積投影（Product Projections）を活用することで、細胞系の数に対して多項式時間の計算量を達成し、複数細胞系エピゲノムデータからのクロマチン状態セグメンテーションの効率的かつ高精度な学習を可能にする。EM法や個別HMM学習法と比較して、実証的な改善が示された。

ABSTRACT

We develop a latent variable model and an efficient spectral algorithm motivated by the recent emergence of very large data sets of chromatin marks from multiple human cell types. A natural model for chromatin data in one cell type is a Hidden Markov Model (HMM); we model the relationship between multiple cell types by connecting their hidden states by a fixed tree of known structure. The main challenge with learning parameters of such models is that iterative methods such as EM are very slow, while naive spectral methods result in time and space complexity exponential in the number of cell types. We exploit properties of the tree structure of the hidden states to provide spectral algorithms that are more computationally efficient for current biological datasets. We provide sample complexity bounds for our algorithm and evaluate it experimentally on biological data from nine human cell types. Finally, we show that beyond our specific model, some of our algorithmic ideas can be applied to other graphical models.

研究の動機と目的

• 複数のヒト細胞系をモデル化する大規模で構造的なHMMに対して、EMベースの学習が計算的に非現実的である問題に対処すること。
• 隠れ状態にツリー構造を持つHMMに適用した際、ナイーブなスペクトル法が示す指数的時間・空間計算量の問題を克服すること。
• 生物学的知識としての細胞系統ツリーを活用し、比較的エピゲノム解析に適した計算効率的かつスケーラブルなスペクトルアルゴリズムを開発すること。
• 実際の生物学的データ（9つのヒト細胞系）を用いた理論的サンプル複雑度の境界と実証的検証を提供すること。
• 積投影（Product Projections）のような再利用可能なアルゴリズム的要素を通じて、他のグラフィカルモデルへの一般化を図ること。

提案手法

• 各細胞系の隠れ状態が、既知の系統樹における親ノードに依存するツリー構造的HMMであり、各ノードで独立な観測値を持つ。
• アルゴリズムは各ルートから葉へのパスを別々に処理し、低深さのパスにおけるテンソル分解に問題を還元する。
• Skeletensor構築は、ランクを明らかにする行列を用いてテンソルを対称化することで、完全なテンソル計算を回避し、次元を1つのノードの次元にまで削減する。
• 積投影（Product Projections）は、条件付き独立性を活用して観測テンソルを圧縮し、完全なテンソル構築を回避し、計算量を隠れ状態数に比例させる。
• テンソル分解および行列逆行列技術を用いて、ややきついランク条件のもとで推定誤差が有界となるように遷移行列および発生行列を推定する。
• 行列摂動理論（Weylの定理およびWedinの定理を含む）を用いて理論的保証を導出し、推定誤差を境界づける。

実験結果

リサーチクエスチョン

• RQ1 複数の生物学的サンプルにわたる、ツリー構造的隠れ状態を有する大規模で構造的なHMMに対して、スペクトル学習がスケーラブルに可能か？
• RQ2 細胞系統関係のツリー構造を活用することで、独立HMMやEM法と比較してクロマチン状態セグメンテーションの精度と効率が向上するか？
• RQ3 テンソル分解手法を、多視点グラフィカルモデルにおける細胞系数の指数的複雑度を回避するために適応可能か？
• RQ4 現実的な生物学的データ仮定のもとで、提案されたスペクトルアルゴリズムのサンプル複雑度は何か？
• RQ5 積投影（Product Projections）のようなコアなアルゴリズム的イノベーションは、HMMを越えた他の潜在変数モデルへ一般化可能か？

主な発見

• Spectral-Treeアルゴリズムは、細胞系数に対して多項式時間の計算量を達成し、ナイーブなスペクトル法の指数的増大を回避する。
• ENCODEの9つのヒト細胞系データから得た結果、変分EM法や個別HMM学習法と比較して、セグメンテーション精度およびパラメータ推定の両面で優れた性能を示す。
• アルゴリズムは理論的サンプル複雑度境界を提供し、ややきついランク条件のもとで、高い確率で真のパラメータに収束することを示す。
• Skeletensor構築により、有効なテンソル次元が1つのノードの次元にまで削減され、完全なテンソルの保存なしに効率的な計算が可能になる。
• 積投影（Product Projections）により、観測数ではなく隠れ状態数に比例する計算量のテンソル推定が可能となり、スケーラビリティが著しく向上する。
• 実証的結果から、遷移確率および発生確率の推定が改善され、適切なサンプルサイズ条件下では誤差がεオーダーの境界に収束することが示された。