[論文レビュー] Unified framework for modeling multivariate distributions in biological sequences

Justas Dauparas, Haobo Wang+4 more|Cold Spring Harbor Laboratory Institutional Repository (Cold Spring Harbor Laboratory)|Jun 6, 2019

Machine Learning in Bioinformatics参考文献 17被引用数 8

ひとこと要約

本論文は、位置特異的スコア行列（PSSMs）、マルコフ確率場（MRFs）、多次元正規分布（MGs）、自己符号化器（AEs）を、異なる損失関数を持つ単一の全結合層として表現することにより、統一された深層学習フレームワークを提案する。主な貢献は、MRFsとMGsが損失関数の違い（カテゴリカル交差エントロピー対平均二乗誤差）にのみ依存することを示し、直接的なモデル変換と共有正則化技術による蛋白質接触予測の向上を可能にすることにある。

ABSTRACT

Revealing the functional sites of biological sequences, such as evolutionary conserved, structurally interacting or co-evolving protein sites, is a fundamental, and yet challenging task. Different frameworks and models were developed to approach this challenge, including Position-Specific Scoring Matrices, Markov Random Fields, Multivariate Gaussian models and most recently Autoencoders. Each of these methods has certain advantages, and while they have generated a set of insights for better biological predictions, these have been restricted to the corresponding methods and were difficult to translate to the complementary domains. Here we propose a unified framework for the above-mentioned models, that allows for interpretable transformations between the different methods and naturally incorporates the advantages and insight gained individually in the different communities. We show how, by using the unified framework, we are able to achieve state-of-the-art performance for protein structure prediction, while enhancing interpretability of the prediction process.

研究の動機と目的

• 生物学的配列における多次元分布モデリングのための、PSSMs、MRFs、MGs、AEsといった異なるモデルを統合すること。
• 共進化および保存則解析におけるカテゴリカル（MRFs）と連続的（MGs）モデリングアプローチの間のギャップを埋めること。
• MRFsからMGsへの、知見および正則化技術のクロスモデル移行を可能にすること。
• 共通フレームワークを通じて複数のモデルの長所を活用することで、蛋白質構造予測の精度を向上させること。
• 共通の数学的表現を用いて深層学習モデルの解釈可能性を向上させること。

提案手法

• すべてのモデル（PSSM、MRF、MG、AE）を、学習可能な重みとバイアスを持つ単一の全結合ニューラルネットワーク層として表現する。
• MRFsにはカテゴリカル交差エントロピー（CCE）損失、MGsには平均二乗誤差（MSE）損失を用い、それぞれ擬似尤度と精度行列推定と同等であることを示す。
• L1、L2、グループL1、対角線の擬似カウントといった正則化技術を適用し、CCEおよびMSEモデルの両方でスパarsityと安定性を促進する。
• MSEモデルにおける対角線のゼロ化が部分相関係数に相当することを示し、MGとMRFの解釈を結びつける。
• MRFおよびMGモデルの効率的推論のために、平均場近似とグラフィカルラッソを統一フレームワーク内で用いる。
• 接触予測性能評価におけるエントロピーバイアスを是正するために、平均積分補正（APC）を用いる。

実験結果

リサーチクエスチョン

• RQ1 PSSMs、MRFs、MGs、AEsを、共有アーキテクチャを持つ単一の深層学習フレームワークに統合できるか？
• RQ2 生物学的配列モデリングの文脈において、カテゴリカル交差エントロピー（MRFsで使用）と平均二乗誤差（MGsで使用）の数学的関係は何か？
• RQ3 MRFsの正則化技術（例：L2）をMGモデルに効果的に移行できるか？
• RQ4 GaussDCA や CCE と比較して、統一フレームワークは蛋白質接触予測の精度を向上させるか？
• RQ5 異なるモデリングパラダイム間の直接的変換と比較を可能にすることで、フレームワークは解釈可能性を向上させられるか？

主な発見

• 統一フレームワークは、PSSMs、MRFs、MGs、AEsを、異なる損失関数を持つ単一の全結合層として表現し、それらの数学的定式化を統一する。
• 擬似尤度を用いたMRFsは、カテゴリカル交差エントロピー損失を最小化することと数学的に同等であり、MGsは平均二乗誤差を最小化することを示し、根本的な統一が実現される。
• MSEに基づくMGモデルにL2正則化を適用することで性能が向上し、CCEに基づくMRFsに近づく。GaussDCAを上回るわずかだが一貫した改善が得られる。
• MSEモデルにおけるペアワイズ行列の対角線をゼロ化することは、部分相関係数の計算に相当し、MGとMRFの解釈を結びつける。
• 統一フレームワークにより、MRFsからMGsへの正則化技術の直接的移行が可能となり、安定性と予測精度が向上する。
• 有効な配列数が1,000以上の多様なタンパク質のデータセットにおいて、同等の正則化を施したMSEはGaussDCAを上回り、CCE性能に近づく。これにより、フレームワークの実用的有用性が実証された。