[論文レビュー] Improving Performance Prediction of Electrolyte Formulations with Transformer-based Molecular Representation Model

Indra Priyadarsini, Vidushi Sharma+4 more|arXiv (Cornell University)|Jun 28, 2024

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本論文では、SELFIES符号化を用いて一貫性のある分子埋め込みを学習し、濃度でスケーリングした後に統合された特徴ベクトルを生成することで、電解質配合物の性能予測を向上させるトランスフォーマー基盤の分子表現モデル、BART-SAを提案する。この手法は2つの電池特性予測タスクにおいて最先端の結果を達成し、コロナ効率予測のRMSEは0.148、比容量予測のRMSEは20.001 mAh/gを記録した。

ABSTRACT

Development of efficient and high-performing electrolytes is crucial for advancing energy storage technologies, particularly in batteries. Predicting the performance of battery electrolytes rely on complex interactions between the individual constituents. Consequently, a strategy that adeptly captures these relationships and forms a robust representation of the formulation is essential for integrating with machine learning models to predict properties accurately. In this paper, we introduce a novel approach leveraging a transformer-based molecular representation model to effectively and efficiently capture the representation of electrolyte formulations. The performance of the proposed approach is evaluated on two battery property prediction tasks and the results show superior performance compared to the state-of-the-art methods.

研究の動機と目的

• 複雑な多成分相互作用と変動する配合組成にもかかわらず、電池電解質の性能を正確に予測する課題に対処すること。
• 分子の同定と相対濃度を両方捉えることのできる、多成分電解質配合物にスケーラブルかつ一般化可能な表現手法を開発すること。
• ダミー特徴量化に依存するか、濃度依存効果を効果的にモデル化できない既存モデルの限界を克服すること。
• 分子配列に対する自己教師付き事前学習を活用し、表現の忠実性を高めることで、電池特性予測における一般化性能と予測精度を向上させること。

提案手法

• ZINCおよびPubChemの5億個および1億1800万個の分子を対象に、SELFIES表現を用いて構文的・意味的妥当性を保証した上で、双方向自己回帰的トランスフォーマー（BART）を事前学習する。
• SELFIESで符号化された分子に対して、語彙数3160の単語レベルのトークン化を適用し、堅牢なシーケンスモデリングを可能にする。
• 事前学習段階で、15%のトークンをランダムにマスクし、元のトークンを再構築することで、文脈に依存した分子表現を学習する。
• 各電解質配合物について、事前学習済みBARTから得た個々の分子表現をそのモル濃度でスケーリングし、合算して統合された特徴ベクトルを構築する。
• 得られた特徴ベクトルを、コロナ効率や比容量予測などの下流タスクで微調整する。
• ダミー特徴量化を回避するため、濃度重み付きベクトル和算戦略を採用し、成分数が異なる配合物に対しても柔軟性を確保する。

Figure 1: Pre-training model architecture

実験結果

リサーチクエスチョン

• RQ1 SELFIESで符号化された分子配列を用いて事前学習した自己教師付きトランスフォーマー・モデルは、複雑な電解質配合物のための分子表現学習を改善できるか？
• RQ2 分子埋め込みの濃度感知スケーリングは、電池電解質特性予測の機械学習モデルの予測性能を向上させるか？
• RQ3 F-GCN、MolFormer、MM-MolFormerといった最先端モデルと比較して、本手法は電解質性能予測においてどのように優れているか？
• RQ4 SMILESではなくSELFIESを用いることで、モデルの一般化性能が向上し、不正な分子構造の学習リスクがどれほど低減されるか？
• RQ5 固定サイズの特徴工学やダミーパディングを必要とせず、成分数が異なる多様な電解質配合物に一般化できるか？

主な発見

• 提案されたBART-SAモデルは、コロナ効率（LCE）予測タスクにおいてRMSE 0.148を達成し、F-GCN TL、MolFormer、MM-MolFormerを含むすべての先行手法を上回った。
• 比容量予測タスクでは、BART-SAがRMSE 20.001 mAh/gを記録し、F-GCN TL（20.495 mAh/g）およびF-GCN no-TL（39.823 mAh/g）を上回った。
• 本モデルは高性能電解質の予測において優れた性能を示し、両タスクのパラティー図において予測値と実測値がよく一致した。
• 本モデルは特に高性能電解質の予測において優位性を示したが、低容量セルについては実験的ノイズや不安定性のため、やや高い誤差が観察された。
• 事前学習段階でSELFIESを用いることで、分子表現の質が顕著に向上し、不正または化学的に不適切な構造の学習リスクが低減された。
• 濃度重み付きベクトル和算戦略により、ダミーパディングを必要とせず、一貫性がありスケーラブルかつ一般化可能な特徴表現が実現され、成分数が可変な配合物にも対応できた。

Figure 2: Illustration of the general schematic of the proposed method. (a) shows the general format of the electrolyte formulation dataset. (b) describes the procedure to construct the feature vector for an electrolyte formulation. (c) shows the fine-tuning model trained using the feature vector fo