[论文解读] Bias Dynamics in BabyLMs: Towards a Compute-Efficient Sandbox for Democratising Pre-Training Debiasing

Filip Trhlík, Andrew Caines+1 more|arXiv (Cornell University)|Jan 14, 2026

Artificial Intelligence in Healthcare and Education被引用 0

一句话总结

论文证明 BabyLMs 能复制偏见获取与去偏见的动态，与标准语言模型相似，并且可作为一个成本高效的沙箱，用于预训练去偏见，将计算从500 GPU 小时降至约30 小时。

ABSTRACT

Pre-trained language models (LMs) have, over the last few years, grown substantially in both societal adoption and training costs. This rapid growth in size has constrained progress in understanding and mitigating their biases. Since re-training LMs is prohibitively expensive, most debiasing work has focused on post-hoc or masking-based strategies, which often fail to address the underlying causes of bias. In this work, we seek to democratise pre-model debiasing research by using low-cost proxy models. Specifically, we investigate BabyLMs, compact BERT-like models trained on small and mutable corpora that can approximate bias acquisition and learning dynamics of larger models. We show that BabyLMs display closely aligned patterns of intrinsic bias formation and performance development compared to standard BERT models, despite their drastically reduced size. Furthermore, correlations between BabyLMs and BERT hold across multiple intra-model and post-model debiasing methods. Leveraging these similarities, we conduct pre-model debiasing experiments with BabyLMs, replicating prior findings and presenting new insights regarding the influence of gender imbalance and toxicity on bias formation. Our results demonstrate that BabyLMs can serve as an effective sandbox for large-scale LMs, reducing pre-training costs from over 500 GPU-hours to under 30 GPU-hours. This provides a way to democratise pre-model debiasing research and enables faster, more accessible exploration of methods for building fairer LMs.

研究动机与目标

• 为研究 LM 偏见形成和去偏见提供低成本沙箱的动机。
• 证明 BabyLMs 获取偏见的方式与标准 LM 相似，并以可比的方式对去偏见方法做出响应。
• 证明可以在显著降低计算资源的情况下进行预模型去偏见实验。

提出的方法

• 使用 BabyLM LTG-BERT 变体，并与标准 BERT 在偏见与性能探针（BLiMP, EWoK, CrowS-Pairs, StereoSet）上进行对比。
• 通过多种探针的分数平均来建立复合偏见和复合性能指标。
• 分析复合性能与偏见之间的相关性，以验证 BabyLMs 作为标准 LMs 的代理（Table 1）。
• 评估去偏见偏移的相关性，使用后模型与模型内方法（Sent-Debias, INLP, CDA, CDS, 去偏见损失, dropout）。
• 在 LTG-Baseline 上进行预模型去偏见实验（CDA、去除毒性、扰动增强），以评估成本与效果。

实验结果

研究问题

• RQ1 BabyLMs 是否能复制更大模型如 BERT 那样的偏见获取动态？
• RQ2 BabyLMs 在后模型、模型内、预模型干预下的去偏见行为是否与标准 LM 相当？
• RQ3 BabyLMs 是否可作为一个成本高效的平台，在投入大规模实验前探索预模型去偏见策略？

主要发现

• BabyLMs 与复合性能和复合偏见之间存在强正相关，类似于标准 LM（Table 1 中 BabyLM 的 r = 0.833，标准为 r = 0.753）。
• 后模型去偏见对偏见的影响在模型间一致；面向性别的 INLP 降低偏见，而面向种族的 INLP 可能损害准确性。
• 模型内去偏见在各模型中带来类似的偏见降低；LTG-Baseline 与 BERT 在性能-偏见转移上的相关性（典型相关）最为接近。
• 使用 BabyLM 的预模型实验（CDA、毒性移除、扰动增强）再现已知的去偏见效应，并在约30 GPU 小时/次的成本下进行新的消融实验。
• 毒性与下游偏见相关；移除有毒句子比随机语料减少偏见更有效。
• BabyLMs 以显著更低的计算成本实现对既有结果的复现与新洞见的获得，表明它们是可行的去偏见沙箱。