[論文レビュー] Random Embeddings and Linear Regression can Predict Protein Function

Tianyu Lu, Alex X. Lu+1 more|arXiv (Cornell University)|Apr 25, 2021

Microplastics and Plastic Pollution参考文献 16被引用数 4

ひとこと要約

この論文は、事前学習なしに学習されたランダム埋め込みが、14の多様なタンパク質機能予測タスクにおいて、最先端の事前学習済みタンパク質言語モデルと同等の性能を達成することを示している。1ホットまたはランダムに初期化された埋め込みを用いた線形回帰により、著者らは、これらの単純なベースラインが、特に予測外挙や未観測の変異への一般化において、事前学習モデルを上回るか同等の性能を示し、高価な事前学習の必要性を疑問視している。

ABSTRACT

Large self-supervised models pretrained on millions of protein sequences have recently gained popularity in generating embeddings of protein sequences for protein function prediction. However, the absence of random baselines makes it difficult to conclude whether pretraining has learned useful information for protein function prediction. Here we show that one-hot encoding and random embeddings, both of which do not require any pretraining, are strong baselines for protein function prediction across 14 diverse sequence-to-function tasks.

研究の動機と目的

• 事前学習を経ていないランダム埋め込みが、タンパク質機能予測の強力なベースラインとして機能できるかどうかを評価すること。
• 大規模な事前学習による性能向上が、学習された生物物理学的表現に起因するのか、それとも高次元のランダムプロジェクションに起因するのかを評価すること。
• 訓練なしにもかかわらず、特定のランダム埋め込みアーキテクチャが他のものよりも優れる理由を調査すること。
• タンパク質機能予測における多様な回帰タスクにおいて、1ホットエンコーディングとランダム埋め込みの性能を事前学習モデルと比較すること。
• 未学習のモデルでも優れた性能を示すことで、事前学習が効果的なタンパク質表現学習に不可欠であるという仮定に疑問を呈すること。

提案手法

• 研究では、事前学習済みタンパク質言語モデル（ProtBert、CPCProt、Bepler）とそのランダム初期化された同等のモデルを、埋め込み関数として用いる。
• 各モデルについて、埋め込み層はランダムな重みで初期化され、微調整は行われない。唯一微調整されるのは上位の線形回帰ヘッドである。
• 1ホットエンコーディングをベースラインとして用い、全シーケンス長 × 21次元の情報を保持することで、位置情報の完全な保持を実現する。
• 上位のモデルは、固定次元の埋め込みを用いて、連続的なタンパク質機能値（例：蛍光性、触媒活性、融解温度）を予測する線形回帰器である。
• 14の多様なデータセットで性能を評価し、未観測のアミノ酸変異やエピスタティックな変異への外挙的性能も含む。
• モデルの性能は標準的な回帰指標を用いて評価され、3回のランダムな再現実験の平均値が使用される。

実験結果

リサーチクエスチョン

• RQ1 事前学習なしのランダム埋め込みが、最先端の事前学習済みモデルと比較して、タンパク質機能予測で競争力のある性能を達成できるか。
• RQ2 特定のランダム埋め込みアーキテクチャが他のものよりも優れる場合があり、その理由は何か。
• RQ3 事前学習モデルの性能は、学習された生物物理学的表現に起因するのか、それとも高次元のランダムプロジェクションに起因するのか。
• RQ4 未観測のアミノ酸変異やエピスタティックな変異を含む配列への一般化において、1ホットエンコーディングとランダム埋め込みの性能はどのように比較できるか。
• RQ5 事前学習とは無関係に、埋め込み次元数がモデル性能に与える影響はどの程度か。

主な発見

• ランダム埋め込みは、未観測のアミノ酸変異やエピスタティックな変異への外挙的性能を含め、14の多様なタンパク質機能予測タスクにおいて、事前学習モデルと同等またはそれ以上の性能を達成する。
• 位置情報の完全な保持を実現する1ホットエンコーディングは強く、局所的な配列パターンが機能予測に重要であることを示唆しており、埋め込みの平均化が重要な情報を破壊する可能性がある。
• ランダム埋め込みの一貫した成功は、カバーの定理を支持しており、学習がなくても高次元のランダムプロジェクションが線形分離可能であり、予測可能である可能性を示している。
• 一部のランダム埋め込みアーキテクチャが他のものよりも優れることがあり、これはアーキテクチャ設計が事前学習とは無関係に性能に影響を与えることを示している。
• 結果は、未学習のモデルでも事前学習モデルのベースラインを上回るか同等の性能を発揮できることを示しており、効果的なタンパク質表現学習には事前学習が必須であるという仮定に疑問を呈する。
• 本研究は、表現学習におけるランダムベースラインの重要性を強調しており、性能向上の要因が生物学的に意味のある表現ではなく、次元の多様性に起因する可能性があることを明らかにしている。