[论文解读] Language Models have a Moral Dimension.

Patrick Schramowski, Cigdem Turan+3 more|arXiv (Cornell University)|Mar 8, 2021

Topic Modeling参考文献 53被引用 7

一句话总结

本文揭示了大型语言模型（LMs）隐式地学习了一条“道德维度”——即其嵌入空间中的一个几何方向，该方向编码了社会的道德与伦理规范。通过识别这一方向，模型无需显式微调即可评估短语的规范性，从而使其能够作为‘道德罗盘’，引导文本生成向符合社会规范的方向发展。

ABSTRACT

Artificial writing is permeating our lives due to recent advances in large-scale, transformer-based language models (LMs) such as BERT, its variants, GPT-2/3, and others. Using them as pretrained models and fine-tuning them for specific tasks, researchers have extended the state of the art for many NLP tasks and shown that they not only capture linguistic knowledge but also retain general knowledge implicitly present in the data. These and other successes are exciting. Unfortunately, LMs trained on unfiltered text corpora suffer from degenerate and biased behaviour. While this is well established, we show that recent improvements of LMs also store ethical and moral values of the society and actually bring a ``moral dimension'' to surface: the values are capture geometrically by a direction in the embedding space, reflecting well the agreement of phrases to social norms implicitly expressed in the training texts. This provides a path for attenuating or even preventing toxic degeneration in LMs. Since one can now rate the (non-)normativity of arbitrary phrases without explicitly training the LM for this task, the moral dimension can be used as ``moral compass'' guiding (even other) LMs towards producing normative text, as we will show.

研究动机与目标

• 探究大型语言模型是否能从未经过滤的文本语料中隐式学习社会道德与伦理价值观。
• 确定这些道德价值观是否可在模型的嵌入空间中表示为一个独立的方向。
• 开发一种无需对模型进行此类数据微调即可检测非规范或有害语言的方法。
• 使该道德维度能够作为引导机制，以改善语言模型的伦理行为。

提出的方法

• 作者分析语言模型在多样化短语上的激活模式，测量其与社会规范的一致性。
• 通过文本嵌入的统计分析，识别出嵌入空间中与短语规范性相关联的稳定方向。
• 利用对社会规范合规性进行标注的短语数据集，通过线性探测技术提取该道德维度。
• 通过计算短语嵌入与道德方向向量之间的余弦相似度，实现零样本分类，以判断短语的规范性。
• 通过调整模型输出以与道德方向对齐，将该方法应用于引导文本生成，从而最小化与社会规范的偏离。
• 评估该方法在无需额外微调的情况下检测有害或非规范语言的能力。

实验结果

研究问题

• RQ1 大型语言模型中的道德与伦理价值观是否可被几何地表示为嵌入空间中的单一方向？
• RQ2 该道德方向与人类标注的短语规范性评分之间的相关性有多大？
• RQ3 该方向是否可用于在不微调模型的情况下检测非规范或有害语言？
• RQ4 该道德维度是否可作为引导信号，以引导语言模型生成符合社会规范的输出？

主要发现

• 该道德维度在经过未过滤文本训练的大型语言模型的嵌入空间中，始终可被识别为一个独立方向。
• 与道德方向对齐程度更高的短语，在人类标注的数据集中获得了更高的规范性评分。
• 该方法实现了高精度的零样本非规范语言检测，且无需任务特定的微调。
• 在文本生成过程中应用道德罗盘，显著降低了生成有害或不道德输出的可能性。
• 该道德方向在不同模型架构和训练数据分布下均表现出鲁棒性。
• 该方法为语言模型的伦理对齐提供了一种可扩展、可解释且通用的解决方案。