[論文レビュー] GeoTMI:Predicting quantum chemical property with easy-to-obtain geometry via positional denoising

Hyeonsu Kim, Jeheon Woo+4 more|arXiv (Cornell University)|Mar 28, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

GeoTMI は、正しい幾何構造、汚染された幾何構造、および目的の性質の間の相互情報量を最大化することにより、低コストで汚染された3次元幾何構造を用いて量子化学的性質を正確に予測できる、画期的な学習フレームワークである。位置的ノイズ除去と多目的損失を用いることで、3次元 GNN の性能が向上し、分子性質予測、反応バリア、触媒的エネルギー予測の各タスクで一貫した精度向上を達成した。

ABSTRACT

As quantum chemical properties have a dependence on their geometries, graph neural networks (GNNs) using 3D geometric information have achieved high prediction accuracy in many tasks. However, they often require 3D geometries obtained from high-level quantum mechanical calculations, which are practically infeasible, limiting their applicability to real-world problems. To tackle this, we propose a new training framework, GeoTMI, that employs denoising process to predict properties accurately using easy-to-obtain geometries (corrupted versions of correct geometries, such as those obtained from low-level calculations). Our starting point was the idea that the correct geometry is the best description of the target property. Hence, to incorporate information of the correct, GeoTMI aims to maximize mutual information between three variables: the correct and the corrupted geometries and the property. GeoTMI also explicitly updates the corrupted input to approach the correct geometry as it passes through the GNN layers, contributing to more effective denoising. We investigated the performance of the proposed method using 3D GNNs for three prediction tasks: molecular properties, a chemical reaction property, and relaxed energy in a heterogeneous catalytic system. Our results showed consistent improvements in accuracy across various tasks, demonstrating the effectiveness and robustness of GeoTMI.

研究の動機と目的

• 実世界の量子化学的応用において、高水準の3次元幾何構造を取得することが実用的に不可能であるという問題に対処する。
• MMFF や DFT 構造最適化の誤差に起因する汚染された、または低水準の幾何構造を用いた場合に生じる3次元 GNN の精度低下を克服する。
• 推論時に正しい3次元幾何構造へのアクセスを必要としない、モデルに依存しないフレームワークを構築する。
• 正しい幾何構造、汚染された入力、目的の性質の間の相互情報量を最大化することで、頑健な学習を促進する。
• 分子性質、反応バリア、触媒系を含む多様な量子化学的タスクにわたる汎用性と頑健性を実証する。

提案手法

• 正しい幾何構造 $X$、汚染された入力 $\tilde{X}$、目的の性質 $Y$ の間の3項相互情報量最大化目的関数を提案する。
• GNN が前方伝搬中に学習可能な位置更新を用いて $\tilde{X}$ を $X$ 側に近づけるよう促す、ノイズ除去損失 $\tilde{\theta}$ を導入する。
• 性質予測（$\tilde{X}$ からの予測）、$X$ の $\tilde{X}$ からの再構成、および $X$ からの $Y$ の補助的予測を組み合わせたマルチタスク損失を採用する。
• ノイズ除去目的によるソフト正則化を用い、推論時に真値幾何構造が不要な状態で幾何的誤差を暗黙的に是正する。
• Equiformer や SchNet などの既存の3次元 GNN アーキテクチャにシームレスに統合可能で、プラグアンドプレイの展開が可能である。
• 段階的なノイズ除去スケジュールを適用することで、幾何構造表現の段階的精錬を実現し、学習の安定性と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 正しい幾何構造、汚染された入力、性質の間の相互情報量最大化が、3次元 GNN における予測精度向上に寄与するか？
• RQ2 GNN 推論中に明示的な位置的精錬が、低品質な幾何構造を用いた場合の性能向上に寄与するか？
• RQ3 実世界の量子化学的タスクにおいて、GeoTMI は Noisy Nodes などの既存のノイズ除去ベースラインと比べてどのように性能を発揮するか？
• RQ4 GeoTMI は、分子性質、反応バリア、触媒的エネルギーを含む多様なデータセットおよび性質タイプにどの程度汎用性を示すか？
• RQ5 GeoTMI フレームワークのどの構成要素——ノイズ除去損失、補助的性質ヘッド、位置更新——が性能向上に最も寄与しているか？

主な発見

• GeoTMI は、腐敗した幾何構造のみで学習されたベースラインモデルと比較して、QM9 の9つの分子性質において平均で17.6%のMAE改善を達成した。
• OC20 データセットの IS2RE タスクにおいて、GeoTMI は、OoD 吸着エネルギー予測のMAEをベースラインと比較して53.8%低減した。
• IS2RE ベンチマークにおいて、GeoTMI は Noisy Nodes 法を上回り、リラックスエネルギー予測のMAEで58.0%の改善を達成した。
• アブレーションスタディの結果、ノイズ除去損失、補助的正しい幾何構造予測ヘッド、位置更新のいずれかを削除すると性能が低下し、特に正しい幾何構造ヘッドを削除した場合に反応バリア高さ予測で最大の低下が観察された。
• 位置更新メカニズムは、特に反応バリア高さ予測において顕著な貢献を示し、ベースラインと比較して誤差を17.1%低減した。
• 腐敗した幾何構造を用いても、GeoTMI は EwT（エネルギー差が0.02 eV未満の閾値内）では完全精度モデルと同等の性能を達成し、OoD 吸着予測ではそれらを上回る性能を示した。