[論文レビュー] FlowLLM: Flow Matching for Material Generation with Large Language Models as Base Distributions

Anuroop Sriram, Benjamin Kurt Miller+2 more|arXiv (Cornell University)|Oct 30, 2024

Natural Language Processing Techniques被引用数 7

ひとこと要約

FlowLLM は fine-tuned な大規模言語モデルを基底分布として Riemannian Flow Matching と組み合わせ、メタ安定な結晶材料を生成します。従来法より安定性生成が300%以上向上し、SUN（安定・独自・新規）率も約50%向上させつつ、構造を緩和後の基底状態に近づけます。

ABSTRACT

Material discovery is a critical area of research with the potential to revolutionize various fields, including carbon capture, renewable energy, and electronics. However, the immense scale of the chemical space makes it challenging to explore all possible materials experimentally. In this paper, we introduce FlowLLM, a novel generative model that combines large language models (LLMs) and Riemannian flow matching (RFM) to design novel crystalline materials. FlowLLM first fine-tunes an LLM to learn an effective base distribution of meta-stable crystals in a text representation. After converting to a graph representation, the RFM model takes samples from the LLM and iteratively refines the coordinates and lattice parameters. Our approach significantly outperforms state-of-the-art methods, increasing the generation rate of stable materials by over three times and increasing the rate for stable, unique, and novel crystals by $\sim50\%$ - a huge improvement on a difficult problem. Additionally, the crystals generated by FlowLLM are much closer to their relaxed state when compared with another leading model, significantly reducing post-hoc computational cost.

研究の動機と目的

• 大規模言語モデル（LLMs）の強みとフローに基づく洗練を活用して、メタ安定結晶材料の探索を加速させる。
• FlowLLM を提案し、LLM が初期の結晶表現を生成し、それを Riemannian Flow Matching (RFM) モデルによって反復的に洗練するハイブリッドモデル。
• MP-20 データセットで安定性と SUN 率の最先端ベースラインに対する顕著な改善を実証する。
• LLM から学習された基底分布を RFM の洗練に用いる影響と、合成可能性および計算効率への示唆を論じる。

提案手法

• 結晶材料文字列に対する事前学習済み LLaMA-2 LLM をファインチューニングし、メタ安定材料の基底分布を学習する。
• LLM から初期結晶表現（原子種、分数座標、格子パラメータ）を取得し、無効な結晶を拒否する。
• テキスト出力を結晶表現に変換し、周期境界条件を持つ結晶多様体上で原子位置と格子パラメータを Riemannian Flow Matching (RFM) モデルを用いて反復的に洗練する。
• 結晶に適用された幾何学的系列に適応した Conditional Flow Matching 目的関数を用いて RFM の速度場 v_t を訓練し、結晶多様体上の測地線ベースの監督を行う。
• 分数座標を平坦なトーラス上に、格子パラメータをユークリッド空間に表現し、グラフニューラルネットワークを介して対称性を制約し、置換・並進・回転の等価性を達成する。
• 離散的（原子種）と連続的（位置、格子）変数を橋渡ししつつ、LLM の prompting 能力を維持するために、学習された基底分布として LLM を、ノイズ除去/洗練段階として RFM を用いる。

実験結果

リサーチクエスチョン

• RQ1 FlowLLM は従来の生成モデルと比べて thermo-安定材料の生成率を高められるか。
• RQ2 RFM の学習済み基底分布として LLM を用いることは、安定性と新規性（SUN）率を向上させ、単なる拡散/フローベースのアプローチとどう比較されるか。
• RQ3 FlowLLM が生成した構造は緩和後の基底状態にどれだけ近いか、ポスト整備のコストを削減できるか。
• RQ4 条件付け（例：化学式）やサンプリングパラメータ（温度、 nucleus sampling）が安定性や SUN 率といった品質指標に与える影響は何か。

主な発見

• FlowLLM は MP-20 で最良の従来法よりも安定材料を300%以上高い生成率で生成する。
• FlowLLM は SUN（安定・独自・新規）率を従来法より約50%高く達成する。
• FlowLLM 生成構造は FlowMM より CHGNet-緩和後の基底状態に近く、一致率が高く（94.9% vs 74.3%）、 RMSD が低く（0.023 Å vs 0.096 Å）、原子あたりの ΔE が低い（0.0898 eV/atom vs 0.3031 eV/atom）。
• FlowLLM は約50 回程度の RFM 積分ステップで収束可能で、拡散/フローベースのバイアスよりも高速である。
• FlowLLM-Types 変種は、正確な原子種予測を主目的として LLM を活用しても安定性率を改善することを示しており、学習された基底分布の利点を強調する。
• FlowLLM は構造的妥当性とカバレッジの間で強力な妥協を提供し、複数の prompting およびサンプリング設定にわたって優れた安定性と SUN 指標に寄与する。