[論文レビュー] CrysMMNet: Multimodal Representation for Crystal Property Prediction

Kishalay Das, Pawan Goyal+3 more|arXiv (Cornell University)|Jun 9, 2023

Machine Learning in Materials Science被引用数 9

ひとこと要約

CrysMMNet は結晶グラフ構造とテキストの材料記述を組み合わせ、結晶特性を予測するための結合マルチモーダル表現を生成し、2つのベンチマークで最先端のベースラインを上回る。

ABSTRACT

Machine Learning models have emerged as a powerful tool for fast and accurate prediction of different crystalline properties. Exiting state-of-the-art models rely on a single modality of crystal data i.e. crystal graph structure, where they construct multi-graph by establishing edges between nearby atoms in 3D space and apply GNN to learn materials representation. Thereby, they encode local chemical semantics around the atoms successfully but fail to capture important global periodic structural information like space group number, crystal symmetry, rotational information, etc, which influence different crystal properties. In this work, we leverage textual descriptions of materials to model global structural information into graph structure and learn a more robust and enriched representation of crystalline materials. To this effect, we first curate a textual dataset for crystalline material databases containing descriptions of each material. Further, we propose CrysMMNet, a simple multi-modal framework, which fuses both structural and textual representation together to generate a joint multimodal representation of crystalline materials. We conduct extensive experiments on two benchmark datasets across ten different properties to show that CrysMMNet outperforms existing state-of-the-art baseline methods with a good margin. We also observe that fusing the textual representation with crystal graph structure provides consistent improvement for all the SOTA GNN models compared to their own vanilla versions. We have shared the textual dataset, that we have curated for both the benchmark material databases, with the community for future use.

研究の動機と目的

• グラフのみのモデルでは見落とされがちなグローバルな周期情報を取り入れることで、結晶特性予測の改善を動機づける。
• グラフベースの局所構造とテキストベースのグローバルな構造知識を融合するマルチモーダルフレームワークを提案する。
• Robocrystallographer を用いて、空間群、対称性、次元性を捉える結晶材料のテキストデータセットを作成する。
• 複数の特性にわたる大規模結晶データセットで CrysMMNet を評価し、モダリティ貢献を理解するためのアブレーションを分析する。

提案手法

• 局所的な化学/構造情報をエンコードする GNN（グラフエンコーダ）を用いて結晶をグラフとして表現する。
• 材料記述からのグローバルな周期知識を、トランスフォーマーベースのテキストエンコーダ（MatSciBERT）と射影層でエンコードする。
• グラフとテキストの埋め込みを連結することで、結合マルチモーダル表現を形成する。
• マルチモーダル埋め込み上でエンドツーエンドのMLPを訓練し、MSE損失を用いて結晶特性を予測する。
• MP および JARVIS データセットのテキスト記述を Robocrystallographer を用いてキュレーションし、局所およびグローバル情報を捉える。

実験結果

リサーチクエスチョン

• RQ1 結晶材料のテキスト記述は、グラフベースの表現と組み合わせた場合に、グローバルな周期構造情報を提供して特性予測を改善するだろうか？
• RQ2 マルチモーダル融合は、多様な結晶特性とデータセットに対して、一貫して単一モダリティモデルを上回るか。
• RQ3 局所組成情報に対するテキストモダリティの寄与はどうで、さまざまなGNNアーキテクチャに対する手法の頑健性は？
• RQ4 限定的な訓練データがマルチモーダル結晶特性予測に与える影響は？

主な発見

• CrysMMNet は JARVIS-DFT および Materials Project データセットの複数の特性に対して、最先端のベースラインモデルを上回る。
• マルチモーダル融合は、様々な GNN バックボーンに対して、通常版と比較して一貫した改善をもたらす。
• テキスト表現だけではグラフベースのモデルを置換するには不十分だが、融合時にはグローバルな構造知識を提供し性能を高める。
• 少データ領域でも CrysMMNet は高い性能を維持し、ラベル付き例が限られていても頑健性を示す。
• アブレーションは、テキストからの局所的な情報（組成）とグローバルな情報（空間群、対称性）の両方が予測改善に寄与することを示している。