[論文レビュー] FoldingZero: Protein Folding from Scratch in Hydrophobic-Polar Model

Yanjun Li, Hengtong Kang+3 more|arXiv (Cornell University)|Dec 3, 2018

Protein Structure and Dynamics参考文献 23被引用数 6

ひとこと要約

FoldingZeroは、2つのヘッドを持つ深層畳み込みニューラルネットワーク（HPNet）と正則化された木のための上位信頼区間（R-UCT）を用いて、教師なし・ドメイン知識なしで2次元の疎水性-極性（HP）タンパク質構造を自己折り畳みする深層強化学習フレームワークを提案する。自己折り畳みの過程で潜在的な構造的知識を学習することで、競争力ある折り畳み結果を達成し、スケーラビリティと現実世界のタンパク質性質予測への可能性を示している。

ABSTRACT

De novo protein structure prediction from amino acid sequence is one of the most challenging problems in computational biology. As one of the extensively explored mathematical models for protein folding, Hydrophobic-Polar (HP) model enables thorough investigation of protein structure formation and evolution. Although HP model discretizes the conformational space and simplifies the folding energy function, it has been proven to be an NP-complete problem. In this paper, we propose a novel protein folding framework FoldingZero, self-folding a de novo protein 2D HP structure from scratch based on deep reinforcement learning. FoldingZero features the coupled approach of a two-head (policy and value heads) deep convolutional neural network (HPNet) and a regularized Upper Confidence Bounds for Trees (R-UCT). It is trained solely by a reinforcement learning algorithm, which improves HPNet and R-UCT iteratively through iterative policy optimization. Without any supervision and domain knowledge, FoldingZero not only achieves comparable results, but also learns the latent folding knowledge to stabilize the structure. Without exponential computation, FoldingZero shows promising potential to be adopted for real-world protein properties prediction.

研究の動機と目的

• アミノ酸配列からデノボタンパク質構造予測の根本的課題に、データ駆動型で自己教師ありのアプローチで対処すること。
• 抽象化されたが、依然としてNP完全性を示す簡略化された疎水性-極性（HP）モデルにおける、スケーラブルで効率的なタンパク質折り畳みフレームワークを構築すること。
• 事前に存在する構造アノテーションやドメイン特化したヒューリスティクスに依存せず、強化学習による学習のみに依存すること。
• 深層強化学習が、繰り返しのポリシー最適化を通じて、潜在的な折り畳みパターンを発見し、タンパク質構造を安定化させることの可能性を調査すること。

提案手法

• FoldingZeroは、各折り畳みステップにおける行動方針と価値関数を予測するために、2ヘッドの深層畳み込みニューラルネットワーク（HPNet）を採用する。
• 探索と活用のバランスを図るために、行動空間における木探索をガイドする正則化された木のための上位信頼区間（R-UCT）アルゴリズムを統合する。
• エージェントが2次元の正方形格子上にアミノ酸を逐次配置する自己折り畳み環境を用い、自己回避ウォークと接触ルールを保証する。
• 強化学習ループにより、メモリに状態、行動、報酬、ポリシーを格納し、ポリシー最適化を繰り返し行う。
• 報酬信号は、H-H接触数の負の値として定義され、より低い（より負の）値がより安定した折り畳みを示す。
• この手法は教師なしでエンドツーエンドに訓練され、折り畳みプロセスからの環境フィードバックにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、教師なし・ドメイン知識なしで、2次元HPタンパク質構造を完全に自己折り畳み可能か？
• RQ2 HPNetとR-UCTの統合フレームワークは、既存のヒューリスティック法や組合せ最適化手法と比較して、どの程度の性能を示すか？
• RQ3 経験を通じて、疎水性コア形成や極性残基の表面局在といった、潜在的な構造的知識がエージェントに学習されるか？
• RQ4 ベンチマークデータセットを超えて、より長い配列へスケーリング可能か。また、グローバルな配列認識の限界は何か？
• RQ5 このアプローチは、計算生物学や化学におけるより複雑なタンパク質モデルへどの程度一般化可能か？

主な発見

• FoldingZeroは、疎水性残基を中央に凝集させ、極性残基を表面に配置することで、コンパクトな疎水性コアを形成し、学習された構造的知識を示している。
• ベンチマーク配列において、既存のヒューリスティック法と同等の折り畳み品質を達成しており、H-H接触スコアは既知の最適結果に近いかそれを上回っている。
• Seq4のような長い配列においても、FoldingZeroはH-Hコアパターンを維持しており、標準ベンチマークを越えたスケーラビリティを示している。
• Seq3のような一部のケースでは、エージェントの局所的判断が非最適な結果（例：最終的な疎水性残基がH-H接触を形成しなかった）をもたらし、グローバルな配列認識が限定的であることが示された。
• 強化学習を通じて、明示的な教師なしや生物学的知識なしに、潜在的な折り畳みパターンを学習し、構造を安定化させている。
• 計算の指数的増大を回避する効率性とスケーラビリティのおかげで、このフレームワークは現実世界のタンパク質性質予測への強い可能性を示している。