[論文レビュー] Orientation-Aware Graph Neural Networks for Protein Structure Representation Learning

Jiahan Li, Shitong Luo+6 more|arXiv (Cornell University)|Jan 28, 2022

Machine Learning in Bioinformatics被引用数 4

ひとこと要約

本稿では、タンパク質の3次元構造における微細な幾何的関係（例：骨格の向きや側鎖の二面角）をよりよく捉えるためにスカラー重みを3次元の方向付きベクトルに拡張した、方向付き重み（\overrightarrow{{\mathbf{W}}}）グラフニューラルネットワークを提案する。本モデルは、タンパク質グラフ上で新規に設計されたSO(3)同変なメッセージパッシングフレームワークに\overrightarrow{{\mathbf{W}}}-パーセプトロンを統合することで、幾何的表現力と生物学的妥当性を維持したまま、複数のタンパク質構造予測タスクで最先端の性能を達成した。

ABSTRACT

By folding into particular 3D structures, proteins play a key role in living beings. To learn meaningful representation from a protein structure for downstream tasks, not only the global backbone topology but the local fine-grained orientational relations between amino acids should also be considered. In this work, we propose the Orientation-Aware Graph Neural Networks (OAGNNs) to better sense the geometric characteristics in protein structure (e.g. inner-residue torsion angles, inter-residue orientations). Extending a single weight from a scalar to a 3D vector, we construct a rich set of geometric-meaningful operations to process both the classical and SO(3) representations of a given structure. To plug our designed perceptron unit into existing Graph Neural Networks, we further introduce an equivariant message passing paradigm, showing superior versatility in maintaining SO(3)-equivariance at the global scale. Experiments have shown that our OAGNNs have a remarkable ability to sense geometric orientational features compared to classical networks. OAGNNs have also achieved state-of-the-art performance on various computational biology applications related to protein 3D structures. The code is available at https://github.com/Ced3-han/OAGNN/tree/main.

研究の動機と目的

• 古典的および既存の同変GNNが、タンパク質3次元構造内のアミノ酸の向きや二面角といった微細な幾何的特徴を捉える能力に限界を示す問題に対処すること。
• スカラーおよびベクトル特徴の両方に対して豊富な幾何的演算を可能にする、幾何的に表現力のあるニューラルネットワークフレームワークの開発。
• アーキテクチャの制約を課さずに、グローバルな幾何的不変性を保つタンパク質グラフ上でのSO(3)同変なメッセージパッシングパラダイムの設計。
• 既存のGNNアーキテクチャへの最小限の変更で、本フレームワークをスムーズに統合できるようにすること。
• 古典的および同変ベースラインと比較して、タンパク質構造表現タスクにおける優れた表現力と性能を示すこと。

提案手法

• スカラー重みを3次元の方向付きベクトルに一般化した\overrightarrow{{\mathbf{W}}}-パーセプトロンを提案し、スカラーおよびベクトル特徴の両方に対する幾何的演算を可能にする。
• 局所的な骨格の向き（{\bm{O}}_{u}）を用いて特徴を局所座標系に変換するメッセージパッシングパラダイムを新たに導入し、同変処理を実現する。
• 複数層の\overrightarrow{{\mathbf{W}}}-パーセプトロン（\mathcal{F}および\mathcal{H}）を用いて集約されたノードおよびエッジ特徴を処理し、グローバル座標系へ変換する。
• スカラーベクトル表現に適応したアテンション機構を備えた、DW-GCN、DW-GIN、DW-GATといった複数のGNNバリアントにフレームワークを適用。
• ベクトルおよびスカラーのアテンションスコアにそれぞれFrobenius内積と標準内積を用い、選択的な近隣集約を可能にする。
• 各アミノ酸残基の剛体変換を活用することで、SO(3)同変性をグローバルに強制し、付録で形式的に証明されている。

実験結果

リサーチクエスチョン

• RQ1 スカラー重みを3次元の方向付きベクトルに拡張することで、タンパク質3次元構造における微細な幾何的特徴のモデリングが顕著に向上するか。
• RQ2 アーキテクチャ的制約を課さずに、一般のGNNフレームワークでSO(3)同変性を効果的に維持できるか。
• RQ3 \overrightarrow{{\mathbf{W}}}-パーセプトロンが、側鎖の二面角のようなタンパク質固有の幾何的関係を、古典的および既存の同変GNNと比較してどれほど優れた性能で捉えられるか。
• RQ4 本フレームワークが、幾何的表現力と性能を保持したまま、多様なGNNアーキテクチャに柔軟に統合可能か。
• RQ5 同変メッセージパッシングパラダイムが、複数のタンパク質構造学習タスクにおいて性能向上をもたらすか。

主な発見

• 提案された\overrightarrow{{\mathbf{W}}}-GNNフレームワークは、古典的なスカラー重み付きネットワークおよび既存のSO(3)同変モデルと比較して、幾何的関係のモデリングにおいて優れた表現力を示した。
• 合成データセット上で、VNNベースのアプローチが不十分に扱う傾向がある角度関係（例：側鎖の二面角）を、モデルが的確に捉えた。
• 機能予測、デコイランク付け、タンパク質ドッキング、ドライバー変異の同定といった複数のタンパク質構造学習タスクで、最先端の性能を達成した。
• スカラーベクトル特徴のための学習可能なアテンションを統合したDW-GATバージョンは、異種タンパク質相互作用における表現学習の向上を実現した、選択的近隣集約を可能にした。
• SO(3)同変メッセージパッシングパラダイムにより、\mathcal{F}および\mathcal{H}の設計を制限することなく、グローバルな幾何的整合性を保証した。これにより、柔軟かつ強力なアーキテクチャの構築が可能になった。
• すべてのモデルとコードは受容後公開される予定であり、再現可能性を支援するとともに、他の3次元学習タスクへの将来的な拡張を可能にする。