[論文レビュー] Universal Transforming Geometric Network

Jin Li|arXiv (Cornell University)|Aug 2, 2019

Protein Structure and Dynamics参考文献 19被引用数 7

ひとこと要約

本論文は、再帰的幾何的ネットワーク（RGN）の再帰ニューラルネットワーク（RNN）部をユニバーサルトランスフォーマーのエンコーダーに置き換える、エンドツーエンド微分可能なタンパク質構造予測モデルであるユニバーサル変換幾何ネットワーク（UTGN）を提案する。UTGNは、自己注意メカニズムによるより良いグローバル依存関係学習と安定した学習のおかげで、より速い収束性、より高い安定性、および優れた性能を達成しており、CASP12におけるフリー・モデリングでRMSDを1.7 Å、テンプレートベースモデリングで0.7 Å低減した。

ABSTRACT

The recurrent geometric network (RGN), the first end-to-end differentiable neural architecture for protein structure prediction, is a competitive alternative to existing models. However, the RGN's use of recurrent neural networks (RNNs) as internal representations results in long training time and unstable gradients. And because of its sequential nature, it is less effective at learning global dependencies among amino acids than existing transformer architectures. We propose the Universal Transforming Geometric Network (UTGN), an end-to-end differentiable model that uses the encoder portion of the Universal Transformer architecture as an alternative for internal representations. Our experiments show that compared to RGN, UTGN achieve a $1.7$ \si{\angstrom} improvement on the free modeling portion and a $0.7$ \si{\angstrom} improvement on the template based modeling of the CASP12 competition.

研究の動機と目的

• RGNのようなRNNベースのタンパク質構造予測モデルの不安定さと長時間の学習時間を解消すること。
• RNNが消失勾配と逐次処理のための制限により苦手としているアミノ酸間の長距離依存関係の学習を改善すること。
• より安定で、収束が速く、エンドツーエンド微分可能なタンパク質構造予測アーキテクチャを構築すること。
• トランスフォーマーに基づく内部表現が、タンパク質折りたたみの幾何的ディープラーニングにおいてRNNを上回ることを実証すること。

提案手法

• アミノ酸の20次元ワンホットエンコーディングに加え、複数アラインメント（MSA）から導出された正規化された位置特異的スコア行列（PSSM）を用いて入力を強化する。
• バスワニら（2017年）の手法に従い、正弦関数を用いて位置エンコーディングを入力表現に追加し、順序位置情報を提供する。
• 内部表現メカニズムとしてユニバーサルトランスフォーマー（UT）エンコーダーを採用し、マルチヘッド自己注意と遷移関数を用いて複数のタイムステップにわたり表現を段階的に精錬する。
• 各タイムステップで、UTはすべての位置にわたるスケールドドット積注意を適用し、グローバルな文脈認識を可能にした後、フィードフォワードまたは分離可能畳み込み遷移関数を適用する。
• 最終的な内部表現を用いて、各アミノ酸残基ごとに3つの二面角（φ、ψ、ω）を予測し、それらを用いてタンパク質構造の3次元デカルト座標を再構築する。
• 予測された構造と真の3次元構造との距離を最小化する微分可能な損失関数を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 RGNのRNN部をユニバーサルトランスフォーマーのエンコーダーに置き換えることで、タンパク質構造予測の性能が向上するか？
• RQ2 ユニバーサルトランスフォーマーの自己注意メカニズムは、RNNと比較してアミノ酸間の長距離依存関係の学習をより効果的に行えるか？
• RQ3 UTGNは、勾配爆発と遅い学習に悩まされるRGNと比較して、より速い収束性と高い学習安定性を達成できるか？
• RQ4 UTGNはCASP12ベンチマークにおけるフリー・モデリングおよびテンプレートベースモデリングの両方で、RGNと比較して優れた性能を示すか？

主な発見

• UTGNはCASP12のフリー・モデリング（FM）カテゴリにおいて、RGNと比較してRMSDが1.7 Å改善され、TMスコアが0.013上昇した。
• テンプレートベースモデリング（TBM）カテゴリでは、UTGNはRMSDを0.7 Å低減し、TMスコアをRGNより0.008向上させた。
• UTGNはRGNの約2倍の速さで収束し、RGNが不安定な勾配に悩まされたのとは異なり、勾配爆発の事例が一切見られなかった。
• UTGNはわずか200万パラメータで、数日間の学習で十分な性能を達成したが、RGNは最強の性能に到達するまで数か月を要し、10倍以上のパラメータを必要としていた。
• 異なる重み初期化でもUTGNの性能にほとんど影響がなかった一方、RGNは初期化の違いによって性能が著しく変動しており、UTGNの学習安定性の優位性が裏付けられた。
• UTGNのバリエーションの中で、分離可能畳み込みベースの遷移関数がフィードフォワードバージョンを上回り、FMおよびTBMベンチマークの両方で最高の性能を発揮した。