[論文レビュー] Fractional Denoising for 3D Molecular Pre-training

Shikun Feng, Yuyan Ni+3 more|arXiv (Cornell University)|Jul 20, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本稿では、座標ノイズ除去における低サンプリングカバレッジと等方的力場仮定の限界を解決するため、二面角と座標にハイブリッドノイズを適用し、座標成分のみをノイズ除去する新しい3次元分子事前学習手法である分数ノイズ除去（Frad）を提案する。Fradは、構造的カバレッジの向上とノイズ処理の分離を経て、より正確で非等方的な力場を学習することで、QM9の12タスク中9つ、MD17の8タスク中7つで最先端性能を達成した。

ABSTRACT

Coordinate denoising is a promising 3D molecular pre-training method, which has achieved remarkable performance in various downstream drug discovery tasks. Theoretically, the objective is equivalent to learning the force field, which is revealed helpful for downstream tasks. Nevertheless, there are two challenges for coordinate denoising to learn an effective force field, i.e. low coverage samples and isotropic force field. The underlying reason is that molecular distributions assumed by existing denoising methods fail to capture the anisotropic characteristic of molecules. To tackle these challenges, we propose a novel hybrid noise strategy, including noises on both dihedral angel and coordinate. However, denoising such hybrid noise in a traditional way is no more equivalent to learning the force field. Through theoretical deductions, we find that the problem is caused by the dependency of the input conformation for covariance. To this end, we propose to decouple the two types of noise and design a novel fractional denoising method (Frad), which only denoises the latter coordinate part. In this way, Frad enjoys both the merits of sampling more low-energy structures and the force field equivalence. Extensive experiments show the effectiveness of Frad in molecular representation, with a new state-of-the-art on 9 out of 12 tasks of QM9 and on 7 out of 8 targets of MD17.

研究の動機と目的

• 低エネルギー分子コンformationの探索が制限される座標ノイズ除去における低サンプリングカバレッジを解消する。
• 既存手法が仮定する等方的力場の限界を克服し、分子の非等方的エネルギー・ランドスケープを捉えること。
• 力場同等性を維持しつつ、広範なコンformationalサンプリングを可能にする事前学習手法を開発する。
• 二面角と座標のノイズを分離することで、物理的解釈可能性を保ちながら、下流タスクのパフォーマンスを向上させる。
• 入力摂動の不整合を是正することで、Noisy Nodesを用いた効果的な微調整を可能にする。

提案手法

• 回転可能な結合の二面角にガウスノイズを適用し、原子座標に独立したノイズを適用するハイブリッドノイズ戦略を導入する。
• 二面角ノイズをデータ拡張メカニズムとして保持しつつ、座標成分のみをノイズ除去する。
• 2種類のノイズを分離することで、従来のノイズ除去における共分散依存性の問題を回避し、力場同等性が回復することを理論的に証明する。
• 分子安定性を損なわず、低エネルギーコンformationの探索を可能にするために、二面角ノイズを活用する。
• 微調整時にノイズ除去と下流タスクの入力を分離することで、一貫した入力分布を確保する。
• 下流予測におけるロバストネスとパフォーマンス向上を検証するため、設定を変更したNoisy Nodesを適用する。

実験結果

リサーチクエスチョン

• RQ1 二面角と座標にハイブリッドノイズを適用することで、事前学習段階での低エネルギー分子コンformationのサンプリングが向上するか？
• RQ2 座標成分のみをノイズ除去することで、力場同等性が保持されつつ非等方的学習が可能になるか？
• RQ3 二面角と座標のノイズを分離することで、Noisy Nodesを用いた微調整パフォーマンスにどのような影響を与えるか？
• RQ4 標準的な座標ノイズ除去と比較して、分数ノイズ除去が分子表現学習にどの程度向上をもたらすか？
• RQ5 提案手法は、QM9やMD17といった標準的な3次元分子ベンチマークで最先端性能を達成できるか？

主な発見

• FradはQM9ベンチマークの12タスク中9つで新たな最先端性能を達成し、評価された全タスクで標準的な座標ノイズ除去を上回った。
• MD17アスピリンタスクにおいて、FradはNoisy Nodesで微調整した結果、テストMAEが0.2087にまで低下し、ベースラインを上回り、従来のNoisy Nodesで見られた収束問題を解消した。
• アブレーションスタディにより、二面角ノイズが低エネルギーコンformationのサンプリングを顕著に向上させることを確認したが、座標ノイズ除去のみでは同等のカバレッジを達成できなかった。
• ノイズ除去と下流タスクの入力を分離することで、特に高二面角ノイズ設定下でも安定した収束と向上したパフォーマンスが得られた。
• アブレーションと下流タスクのパフォーマンスを通じて、非等方的力場学習との理論的同等性が検証され、物理的解釈可能性が裏付けられた。
• Fradのパフォーマンス向上は、広範なコンformationalカバレッジとより正確な力場学習の両方によるものであり、アブレーションおよび比較スタディで示された。