[論文レビュー] H-Packer: Holographic Rotationally Equivariant Convolutional Neural Network for Protein Side-Chain Packing

Gian Marco Visani, William Galvin+2 more|arXiv (Cornell University)|Nov 15, 2023

Protein Structure and Dynamics被引用数 5

ひとこと要約

H-Packer は、ホログラフィック畳み込みを用いて、回転等長性を備えた軽量なディーブラーニングモデルを提案する。このモデルは、タンパク質の側鎖二面角（$\chi$）を直接回帰することで、物理的・学習ベースの手法と同等の精度を達成しながら、AttnPacker や DiffPack といった最先端の代替手法よりも著しく高速かつパラメータ効率が良く、優れた性能を発揮する。

ABSTRACT

Accurately modeling protein 3D structure is essential for the design of functional proteins. An important sub-task of structure modeling is protein side-chain packing: predicting the conformation of side-chains (rotamers) given the protein's backbone structure and amino-acid sequence. Conventional approaches for this task rely on expensive sampling procedures over hand-crafted energy functions and rotamer libraries. Recently, several deep learning methods have been developed to tackle the problem in a data-driven way, albeit with vastly different formulations (from image-to-image translation to directly predicting atomic coordinates). Here, we frame the problem as a joint regression over the side-chains' true degrees of freedom: the dihedral $χ$ angles. We carefully study possible objective functions for this task, while accounting for the underlying symmetries of the task. We propose Holographic Packer (H-Packer), a novel two-stage algorithm for side-chain packing built on top of two light-weight rotationally equivariant neural networks. We evaluate our method on CASP13 and CASP14 targets. H-Packer is computationally efficient and shows favorable performance against conventional physics-based algorithms and is competitive against alternative deep learning solutions.

研究の動機と目的

• ローターメル・ライブラリに依存しない計算効率的かつ高精度なタンパク質側鎖パッケージング手法の開発。
• 従来のディープラーニングおよび物理ベースの手法の限界を克服するため、真の自由度である $\\chi$ 二面角を直接回帰すること。
• 球面フーリエ空間演算を用いた回転等長性を活用し、局所的なタンパク質環境における幾何的推論を向上させること。
• モデルの複雑さとトレーニングコストを低減しながら高い性能を維持し、制限されたハードウェア上でのデプロイを可能とすること。
• $\\chi$ 角度の正弦および余弦変換に基づく幾何的に整合性のある損失関数の検討と検証。

提案手法

• 2段階アーキテクチャを採用：第1段階でボトムアップ座標とアミノ酸種別を入力として初期 $\\chi$ 角度を予測；第2段階で隣接する側鎖原子座標を用いて予測値を精緻化。
• SO(3) 回転等長性を実現するため、球面フーリエ空間で動作するホログラフィック畳み込みニューラルネットワーク（H-CNN）を採用。
• $\\chi$ 角度を正弦および余弦変換でパラメータ化することで、周期性を確保し、損失関数の不連続性を回避。
• 局所的な原子環境に基づくアミノ酸固有の好みを学習するため、フルアトム構造でトレーニング。
• $\\sin(\\chi)$ および $\\cos(\\chi)$ における幾何的根拠のある損失関数を適用し、一般化性能と対称性処理の向上を図る。
• ホログラフィック符号化計算の並列化により推論を最適化。現在、この処理が推論時間の88％を占め、ボトル neck となっている。

Figure 1: Overview of H-Packer. A: Illustration of Glutamine’s $\chi$ angles, of which there are three. B: Schematic shows the H-CNN style network for side-chain packing by first predicting the missing residue’s $\chi$ angles from its surrounding atomic environment, and then using the $\chi$ angles

実験結果

リサーチクエスチョン

• RQ1 回転等長性を持つネットワークを用いて $\\chi$ 二面角を直接回帰することで、ローターメル・ライブラリベースや座標予測手法を上回るパフォーマンスが得られるか？
• RQ2 $\\chi$ 角度の正弦・余弦パラメータ化は、直接的な角度回帰と比較して、損失関数の滑らかさと予測精度にどのような影響を及えるか？
• RQ3 ホログラフィック畳み込みを用いた軽量で2段階のアーキテクチャが、最小限のパラメータ数とトレーニングコストで競争力のある性能を達成できるか？
• RQ4 H-Packer の性能は、物理ベースの手法（例：RosettaPacker）および最先端のディープラーニングモデル（例：AttnPacker, DiffPack）と比較して、精度と速度の両面でどう異なるか？
• RQ5 モデルの予測は効率的に並列化可能か？また、精緻化イテレーション回数の変更が、スピードと精度のトレードオフに与える影響は？

主な発見

• H-Packer は CASP14 ターゲットにおいて、$\\chi_1$ 角度の平均予測誤差が 15.8° を達成し、RosettaPacker（21.5°）および SCWRL4（20.1°）を上回り、AttnPacker（14.2°）に近い性能を示した。
• H-Packer は RosettaPacker より 7 倍速く、DLPacker より 6 倍速く、フルアトム再構成において推論時間がホログラフィック符号化（88％）に左右されている。
• H-Packer はパラメータ数がたった 6M（各段階 3M）であり、AttnPacker（208M）の 100 分の 1 に満たない。1 GPU で 1 エポックあたり 1 時間未満でトレーニング可能。
• $\\chi$ 角度の正弦・余弦パラメータ化により、より安定で幾何的に整合性のある損失関数が得られ、対称性に起因するコンformational なあいまいさに起因する誤差が低減した。
• 精緻化イテレーション数を減らす（例：2 vs. 5）と性能はわずかに低下するが、速度は 50％ 向上し、精度の損失は最小限に抑えられた。
• H-Packer は他の手法と補完的なパフォーマンスを示しており、既存のモデルが捉えていない独自の構造的特徴を学習している可能性がある。

Figure 2: Test MAE for the simple task of predicting $\chi$ angles from atomic conformation. Panels show reconstruction accuracies using three loss functions: the angle $\chi$ itself (left), the sin/cos transform of the angle (center), and the normal vectors to the dihedral planes (right), for diffe