[論文レビュー] Graph Self-Supervised Learning for Optoelectronic Properties of Organic Semiconductors

Zaixi Zhang, Qi Liu+4 more|arXiv (Cornell University)|Dec 2, 2021

Machine Learning in Materials Science被引用数 4

ひとこと要約

本論文は、有機半導体の光学・電気的性質を予測するためのグラフ自己教師付き学習（SSL）フレームワークを提案する。ラベルなし分子データを用いた事前学習により、グラフニューラルネットワーク（GNN）の性能を向上させる。本手法は、ラベル付きデータが限られる状況でも顕著な性能向上を達成し、平均絶対誤差（MAE）を最大22％まで低減する。これは、平衡状態の基底状態および非平衡状態の励起状態の両方の性質予測において有効である。

ABSTRACT

The search for new high-performance organic semiconducting molecules is challenging due to the vastness of the chemical space, machine learning methods, particularly deep learning models like graph neural networks (GNNs), have shown promising potential to address such challenge. However, practical applications of GNNs for chemistry are often limited by the availability of labelled data. Meanwhile, unlabelled molecular data is abundant and could potentially be utilized to alleviate the scarcity issue of labelled data. Here, we advocate the use of self-supervised learning to improve the performance of GNNs by pre-training them with unlabeled molecular data. We investigate regression problems involving ground and excited state properties, both relevant for optoelectronic properties of organic semiconductors. Additionally, we extend the self-supervised learning strategy to molecules in non-equilibrium configurations which are important for studying the effects of disorder. In all cases, we obtain considerable performance improvement over results without pre-training, in particular when labelled training data is limited, and such improvement is attributed to the capability of self-supervised learning in identifying structural similarity among unlabeled molecules.

研究の動機と目的

• 有機半導体（OSC）の光学・電気的性質を予測するためのGNNを学習する際、ラベル付きデータが限られるという課題に対処すること。
• データベースやシミュレーションから得られる豊富なラベルなし分子データを活用し、自己教師付き学習（SSL）を用いてGNNを事前学習すること。
• 非平衡状態の分子構造にまでSSLを拡張し、不純物の影響が電子的性質に与える効果をモデル化すること。
• 特にラベル付きデータが少ない状況において、基底状態および励起状態の両方の性質予測の精度を向上させること。
• 事前学習済みGNNが、さまざまな光学・電気的性質予測タスクにわたって汎用的に適用可能であることを示すこと。

提案手法

• 構造的不変性を学習するために、対照的自己教師付き学習目的関数を用いて、大規模なラベルなし分子データ上でGNNを事前学習する。
• 平衡状態の分子構造にはSMILES文字列を入力とし、非平衡状態の構造には3次元原子座標を組み込む。
• 非平衡状態の構造では、SchNetにおける径数基底関数（RBF）層の後に、原子間距離特徴ベクトルをマスクし、それを再構築するようにモデルを学習する。
• 光学・電気的性質（例：励起状態エネルギー、遷移双極子モーメント）の回帰タスク用に、タスク固有のラベル付きデータで事前学習済みGNNを微調整する。
• 3次元分子幾何構造を扱い、空間的に情報を持つ表現を学習できるように、SchNetをGNNアーキテクチャとして採用する。
• t-SNE可視化を用いて、構造的に類似した分子が学習済み埋め込み空間でまとまっていることを確認し、有効な構造的表現学習が行われていることを示す。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況において、GNNの自己教師付き事前学習が、有機半導体の光学・電気的性質予測精度を向上させることができるか？
• RQ2 SSLによる事前学習が、非平衡状態の分子における励起状態性質予測性能に与える影響はいかほどか？
• RQ3 SSLによる性能向上は、ラベル付き学習データ量にどの程度依存するか？
• RQ4 明示的なラベルがなくても、SSLが分子間の構造的類似性を効果的に捉えることができるか？
• RQ5 SSL事前学習に3次元分子座標を組み込むことで、構造依存の電子的性質予測能力が向上するか？

主な発見

• ラベル付きデータが1,000点しかない状況で、自己教師付き事前学習により励起状態エネルギー予測の平均絶対誤差（MAE）が約22％低減し、1.81 eVから1.42 eVに低下した。
• ラベル付きデータ量が増加するにつれて、SSL事前学習による性能向上は減少し、4,000点を超えるとほとんど顕著でなくなる。
• 遷移双極子モーメントの大きさを予測するというより困難なタスクにおいて、SSLは1,000～5,000点のラベル付きデータすべての範囲で一貫して16～20％の改善をもたらした。
• t-SNE可視化により、構造的に類似した分子が学習済み埋め込み空間でグループ化されていることが確認され、事前学習段階で分子トポロジーが効果的に捉えられていることが示された。
• 事前学習済みGNNはタスク間で良好な汎用性を示し、少量のラベル付きデータでさまざまな光学・電気的性質予測タスクに微調整可能であった。
• 本手法は、非平衡状態の構造に対してもSSLを効果的に拡張し、3次元分子動力学データを用いて不純物効果が電子的性質に与える影響を正確にモデル化できた。