[論文レビュー] Deeply learning molecular structure-property relationships using graph attention neural network.

Seongok Ryu, Jaechang Lim+1 more|arXiv (Cornell University)|May 28, 2018

Machine Learning in Materials Science参考文献 46被引用数 10

ひとこと要約

本論文では、環境に配慮した原子表現の学習と特徴の適応的精錬を可能にする、ゲート付きスキップ接続を備えたグラフ自己注意ニューラルネットワークを提案する。このモデルは、溶解度、極性、合成可能性、太陽電池効率の予測において、vanilla GCNを上回り、高効率な太陽電池に寄与するドナー／アクセプター軌道領域を重要な構造的特徴として同定し、潜在空間における類似分子の正確なクラスタリングを可能にする。

ABSTRACT

Molecular structure-property relationships are key to molecular engineering for materials and drug discovery. The rise of deep learning offers a new viable solution to elucidate the structure-property relationships directly from chemical data. Here we show that the performance of graph convolutional networks (GCNs) for the prediction of molecular properties can be improved by incorporating attention and gate mechanisms. The attention mechanism enables a GCN to identify atoms in different environments. The gated skip-connection further improves the GCN by updating feature maps at an appropriate rate. We demonstrate that the resulting attention- and gate-augmented GCN could extract better structural features related to a target molecular property such as solubility, polarity, synthetic accessibility and photovoltaic efficiency compared to the vanilla GCN. More interestingly, it identified two distinct parts of molecules as essential structural features for high photovoltaic efficiency, and each of them coincided with the areas of donor and acceptor orbitals for charge-transfer excitations, respectively. As a result, the new model could accurately predict molecular properties and place molecules with similar properties close to each other in a well-trained latent space, which is critical for successful molecular engineering.

研究の動機と目的

• アテンションおよびゲーティング機構を統合することで、グラフ畳み込みネットワークの性能を向上させ、分子特性予測を改善すること。
• 有機分子における高い太陽電池効率をもたらす構造的特徴を同定すること。
• 良好に訓練された潜在空間において、類似した性質を持つ分子を正確にクラスタリングできるようにすること。
• 複雑な構造-特性関係を捉える環境に配慮した原子表現を学習すること。

提案手法

• 原子が化学的環境に応じて隣接原子に注目できるように、グラフ畳み込みネットワークにアテンション機構を統合する。
• 特徴更新の流れを制御し、最適な更新レートを学習することで、訓練の安定性を高めるゲート付きスキップ接続を適用する。
• 溶解度、極性、合成可能性、太陽電池効率などの特性を予測するために、分子グラフ上でエンドツーエンドにモデルを訓練する。
• ノードレベルのアテンションを用いて、隣接原子からの寄与を重み付けし、化学的に関連のある相互作用に注目する。
• 訓練済みモデルの潜在空間を活用して、類似した性質を持つ分子をクラスタリングする。
• クエリ、キー、バリューのベクトルをノード特徴から導出することで、メッセージパッシングフレームワークにおいてアテンション重みを計算する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構は、分子グラフにおける環境特化型の原子表現をGCNが捉える能力を向上させることができるか？
• RQ2 ゲート付きスキップ接続の導入により、GCNベースの分子特性予測の性能と安定性はどのように向上するか？
• RQ3 有機分子における高い太陽電池効率を予測する上で、最も予測的である構造的特徴は何か？
• RQ4 モデルの潜在空間は、下流の分子設計を目的とした、類似した性質を持つ分子を効果的にグループ化できるか？
• RQ5 アテンション重みは、ドナーおよびアクセプター軌道といった既知の電子的特徴に対応する分子領域を明確に示すか？

主な発見

• アテンションおよびゲートを備えたGCNは、溶解度、極性、合成可能性、太陽電池効率の予測において、vanilla GCNを上回った。
• モデルは、電荷移動励起に寄与するドナーおよびアクセプター軌道に対応する2つの明確な分子領域を、高い太陽電池効率に不可欠な要因として同定した。
• モデルが学習した潜在空間では、類似した性質を持つ分子が近接して配置されており、効果的な分子クラスタリングが可能になった。
• アテンション機構により、モデルは異なる化学的環境にある原子に注目でき、特徴表現の質が向上した。
• ゲート付きスキップ接続により、より安定的かつ効果的な特徴伝搬が実現され、全体の予測性能が向上した。