[論文レビュー] What is a meaningful representation of protein sequences?

Nicki Skafte Detlefsen, Søren Hauberg+1 more|arXiv (Cornell University)|Nov 28, 2020

RNA and protein synthesis mechanisms参考文献 6被引用数 4

ひとこと要約

本稿は、タンパク質配列の意味のある表現とは何かを調査し、表現の幾何構造が解釈可能性と生物学的洞察に顕著に影響することを提案している。潜在空間の幾何構造、特にエントロピーに配慮した測地線距離をモデル化することで、トランスファー学習のパフォーマンスが向上し、標準的手法では見えにくくなる生物学的に有意義なパターンが明らかになる。これは、幾何的認識がタンパク質配列解析におけるモデルの有用性と科学的解釈可能性を向上させることを示している。

ABSTRACT

How we choose to represent our data has a fundamental impact on our ability to subsequently extract information from them. Machine learning promises to automatically determine efficient representations from large unstructured datasets, such as those arising in biology. However, empirical evidence suggests that seemingly minor changes to these machine learning models yield drastically different data representations that result in different biological interpretations of data. This begs the question of what even constitutes the most meaningful representation. Here, we approach this question for representations of protein sequences, which have received considerable attention in the recent literature. We explore two key contexts in which representations naturally arise: transfer learning and interpretable learning. In the first context, we demonstrate that several contemporary practices yield suboptimal performance, and in the latter we demonstrate that taking representation geometry into account significantly improves interpretability and lets the models reveal biological information that is otherwise obscured.

研究の動機と目的

• タンパク質配列表現が生物学的文脈において「意味のあるもの」となる要件を解明すること。
• タンパク質表現のトランスファー学習における現在の実践を評価し、非最適な設計選択を同定すること。
• 潜在空間の幾何構造を明示的にモデル化することで、学習された表現の解釈可能性を向上させること。
• エントロピーに配慮した潜在多様体を用いて、タンパク質配列表現空間における頑健な測地線距離計算手法を開発すること。
• 幾何的にインフォームドされた表現が、系統発生的関係や機能的モチーフなどの生物学的に関連する構造を、標準的手法よりも信頼性高く明らかにできることを示すこと。

提案手法

• 著者らは、潜在空間の不確実性と幾何構造をモデル化するための新規エントロピー・ネットワークを備えた変分オートエンコーダ（VAE）フレームワークを用いて、タンパク質配列表現を学習した。
• 1ホットエンコードされた配列間の期待二乗距離に基づく測地線エネルギー関数を定義し、式 $ \mathbb{E}[\Delta^2] = 2\left(1 - \sum_{d=1}^{C} a_d b_d\right) $ を用いて、配列空間内の期待距離を計算した。
• 測地線を計算するため、潜在空間を2次元グリッドに離散化し、エントロピー加重のエッジ重みを持つグラフを構築し、Dijkstraのアルゴリズムを用いて頑健な初期化を実施した。
• エネルギー関数（式4）を最小化するため、10ステップの勾配最適化と3次スプラインフィッティングを用いて測地線曲線を精緻化し、精度を向上させた。
• 系統発生解析のため、クラスタ中心に最も近い潜在埋め込みを選択し、FastTree2とcodemlを用いて系統樹推定と系統祖先配列再構築を実施した。
• PfamおよびTAPE（TAPE）リポジトリから公開されているデータセットを用いて結果を検証し、コードと事前処理済みデータを公開した。

実験結果

リサーチクエスチョン

• RQ1 トランスファー学習における一般的な設計選択が、タンパク質配列表現の質と生物学的解釈可能性にどのように影響するか？
• RQ2 潜在空間の幾何構造をモデル化することで、タンパク質表現埋め込みの解釈可能性はどの程度向上するか？
• RQ3 潜在空間におけるエントロピーに配慮した測地線距離は、系統発生的構造や機能的類似性といった生物学的に有意義な関係を明らかにできるか？
• RQ4 標準的な表現学習手法が生物学的に関連するパターンをどのように隠蔽しており、その是正はどのような方法で可能か？
• RQ5 表現の幾何構造が、系統祖先配列や機能的モチーフの頑健な推定を可能にする役割は何か？

主な発見

• タンパク質配列のトランスファー学習における一般的な実践—例えば、標準的なVAEトレーニングや表現の平均化—は、非最適なパフォーマンスをもたらし、生物学的パターンを隠蔽する。
• 提案されたエントロピー・ネットワークは、潜在空間における測地線パスの品質を顕著に向上させ、タンパク質配列間の距離推定をより正確かつ生物学的に意味のあるものにした。
• 表現の幾何構造をモデル化することで、本手法は系統発生的関係と祖先配列を効果的に回復し、標準ベースラインを上回る頑健性と解釈可能性を示した。
• エントロピーに配慮した手法で計算された測地線パスは、βラクタマーゼファミリーにおいて明確な進化的トレンドと機能的グルーピングを明らかにしたが、これは標準表現では見えなかった。
• 本研究は、表現の幾何構造が二次的な要因ではなく、学習された表現が科学的に有用なインサイトを生み出すかどうかを決定づける中心的要因であることを示した。
• 著者らは、モデルアーキテクチャやトレーニングプロトコルのわずかな変更ですら、生物学的解釈を著しく変える可能性があることを示し、表現学習における幾何的認識の必要性を強調した。