[論文レビュー] AugLiChem: Data Augmentation Library of Chemical Structures for Machine Learning

Rishikesh Magar, Yuyang Wang+5 more|arXiv (Cornell University)|Nov 29, 2021

Machine Learning in Materials Science被引用数 5

ひとこと要約

この論文では、分子および結晶性材料のためのPythonベースのデータ拡張ライブラリであるAugLiChemを紹介している。このライブラリは、分子グラフに対してノードマスキングや結合削除などのグラフレベル変換を適用し、結晶に対して構造的摂動を加えることで、化学的に妥当な構造的変種を生成し、機械学習モデルの性能を向上させる。著者らは、複数のベンチマークデータセットにおいて、特にグラフニューラルネットワーク（GNN）の性能が顕著に向上することを示しており、ROC-AUCおよび正規化済みRMSEの両面で向上が見られた。

ABSTRACT

Machine learning (ML) has demonstrated the promise for accurate and efficient property prediction of molecules and crystalline materials. To develop highly accurate ML models for chemical structure property prediction, datasets with sufficient samples are required. However, obtaining clean and sufficient data of chemical properties can be expensive and time-consuming, which greatly limits the performance of ML models. Inspired by the success of data augmentations in computer vision and natural language processing, we developed AugLiChem: the data augmentation library for chemical structures. Augmentation methods for both crystalline systems and molecules are introduced, which can be utilized for fingerprint-based ML models and Graph Neural Networks(GNNs). We show that using our augmentation strategies significantly improves the performance of ML models, especially when using GNNs. In addition, the augmentations that we developed can be used as a direct plug-in module during training and have demonstrated the effectiveness when implemented with different GNN models through the AugliChem library. The Python-based package for our implementation of Auglichem: Data augmentation library for chemical structures, is publicly available at: https://github.com/BaratiLab/AugLiChem.

研究の動機と目的

• 機械学習における分子および結晶性材料データセットの限界とノイズの問題に対処する。
• 化学的性質予測におけるデータ不足を解消するために、ターゲットを絞ったデータ拡張戦略を開発する。
• 既存のMLワークフローにスムーズに統合可能なモジュラーでオープンソースのPythonパッケージを設計する。
• 分類および回帰タスクを含む多様なMLベンチマークにおいて、グラフベースの拡張の有効性を評価する。
• データ拡張が、特に低データ環境においてGNNおよびフィンガープrintベースのモデルの一般化性能と耐性を向上させることを実証する。

提案手法

• 結晶性材料向けに5つの異なるデータ拡張戦略を開発した。これには、原子置換、格子歪み、スーパーセル拡張が含まれる。
• 分子向けに3つのグラフレベル拡張技術を提案した。ノードマスキング、結合削除、サブ構造除去であり、化学的妥当性を保持している。
• すべての拡張処理をモジュラーなPythonパッケージ（AugLiChem）に統合し、フィンガープリントベースのモデルとグラフニューラルネットワーク（GNN）の両方をサポートした。
• 評価の整合性を保つために、拡張処理を訓練セットにのみ適用した。
• 複数のデータセットを対象に、標準的なML評価プロトコル（k分割交差検証およびランダム分割）を用いた。
• 分類タスクではROC-AUC、回帰タスクでは正規化済みRMSEという標準的な指標を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 グラフレベルのデータ拡張戦略は、分子および結晶性材料の性質予測におけるGNNの性能を向上させることができるか？
• RQ2 ノードマスキングや結合削除などの特定の拡張技術（例：ノードマスキング、結合削除）は、多様な化学的データセットにおいて一貫した性能向上をもたらすか？
• RQ3 低データ環境が材料科学で一般的な状況において、データ拡張はMLモデルの一般化性能と耐性にどのように影響するか？
• RQ4 統一的で即挿入可能なライブラリは、既存の分子および結晶MLワークフローへのデータ拡張の統合を容易にできるか？
• RQ5 複数の拡張戦略を組み合わせた場合の影響は何か？効果の飽和（diminishing returns）が生じるのか、それとも相乗効果（synergistic improvements）が得られるのか？

主な発見

• ノードマスキングと結合削除は、ほとんどのベンチマークでモデル性能を向上させた。特にノードマスキングはLipo回帰データセットで顕著な強みを示した。
• ノードマスキングと結合削除の組み合わせは、5つの分類タスクのうち4つ（BBBP、HIV、Tox21、SIDER）および5つの回帰タスクのうち3つで、個別の戦略を上回る性能を示した。
• サブ構造除去は全体としての向上が限定的だったが、BACEおよびMUVデータセットでは競争力ある結果を達成しており、タスクに特化した有用性が示された。
• 3つの分子グラフ拡張（NM+BD+SR）をすべて組み合わせた場合、単純な組み合わせよりも性能が劣った。これは、元のグラフからの構造的逸脱が大きすぎるためと推測される。
• AugLiChemの使用により、5つの結晶性材料データセットにおいてGNNの性能が顕著に向上し、4種類の異なるGNNアーキテクチャで一貫した向上が確認された。
• オープンソースのAugLiChemパッケージは、既存のMLパイプラインへのスムーズな統合を可能にし、自動データ処理、欠損値補完、シングルターゲットおよびマルチターゲット学習の両方をサポートしている。