[论文解读] From Word2Vec to Transformers: Text-Derived Composition Embeddings for Filtering Combinatorial Electrocatalysts

Lei Zhang, Markus Stricker|arXiv (Cornell University)|Mar 9, 2026

Machine Learning in Materials Science被引用 0

一句话总结

这篇论文评估一种无标签筛选方法：将每种组成嵌入到文本衍生的潜在空间，并对导电性和介电概念方向进行双Pareto前沿筛选，以在保留近似最佳表现者的同时减少电催化剂的组合库。

ABSTRACT

Compositionally complex solid solution electrocatalysts span vast composition spaces, and even one materials system can contain more candidate compositions than can be measured exhaustively. Here we evaluate a label-free screening strategy that represents each composition using embeddings derived from scientific texts and prioritizes candidates based on similarity to two property concepts. We compare a corpus-trained Word2Vec baseline with transformer-based embeddings, where compositions are encoded either by linear element-wise mixing or by short composition prompts. Similarities to `concept directions', the terms conductivity and dielectric, define a 2-dimensional descriptor space, and a symmetric Pareto-front selection is used to filter candidate subsets without using electrochemical labels. Performance is assessed on 15 materials libraries including noble metal alloys and multicomponent oxides. In this setting, the lightweight Word2Vec baseline, which uses a simple linear combination of element embeddings, often achieves the highest number of reductions of possible candidate compositions while staying close to the best measured performance.

研究动机与目标

• 通过利用文本派生嵌入在不使用显式电化学标签的情况下实现对组成复杂的电催化剂的高效筛选的动机。
• 比较Word2Vec和基于变换器的嵌入在表示多元素组成方面的差异。
• 评估两种嵌入形式（元素级线性混合与完整组成提示）及其对候选缩减和保留顶尖表现者的影响。
• 在二维导电性–介电描述子空间中评估双Pareto前沿筛选方法。
• 测试跨15个HER/ORR/OER材料库的跨库可转移性。

提出的方法

• 在电催化抽象语料上训练Word2Vec基线，创建200维元素嵌入，并通过浓度加权线性混合形成组成向量。
• 通过编码简短元素提示并按组成分数线性聚合，生成Transformer基元素嵌入（MatSciBERT、Qwen）。
• 通过对完整组成提示进行编码并汇聚为定长向量，创建组成提示Transformer嵌入（MatSciBERT_Full、Qwen_Full）。
• 将每个组成向量投影到两个概念方向：导电性和介电性，使用余弦相似度获得二维描述子（S_dielectric、S_conductivity）。
• 应用双Pareto前沿筛选（最大化导电性、最小化介电性；以及相反方向）以从每种嵌入模型中选择非支配的组成。
• 在包含HER、ORR和OER的15个库上评估性能，通过比较保留比例和最佳电流密度相对于原始库的偏差来衡量。

实验结果

研究问题

• RQ1 文本派生的嵌入（Word2Vec和变换器）是否能够在没有电化学标签的情况下有效筛选组合电催化剂空间？
• RQ2 元素级与全组合提示表示在筛选强度和保留高性能组成方面有何差异？
• RQ3 两种简单的概念方向（导电性、介电性）是否足以在不同反应类型（HER、ORR、OER）中实现近最优的候选选择？
• RQ4 文本派生筛选在具有不同加工历史的多样材料库中可转移性如何？

主要发现

• 一个轻量级的Word2Vec基线通常在实现最大的缩减数量的同时保持接近最佳测量性能。
• 基于Transformer的（MatSciBERT、Qwen）元素级嵌入在保留更多候选者方面具有优势，但在误差与保留之间存在不同权衡。
• 组成提示模型（MatSciBERT_Full、Qwen_Full）通常保留10–20%的候选者，偏差适中；在某些系统中它们的表现可达到或超过元素级结果。
• 在大多数库中，经过Pareto筛选的子集仍然多样且分散在全库中，而非聚集到一个小簇，便于在减少实验的同时进行探索性筛选。
• 在若干氧化物OER库中，MatSciBERT_Full和Qwen_Full相较于其元素级 counterpart 展现出优势，但简单的Word2Vec基线在许多系统中仍具竞争力。
• W2V通常提供最强的筛选效果、保留比例最小且偏差较低，表明语料统计和双概念空间可能捕捉到该任务的关键结构。