[论文解读] BERT has a Moral Compass: Improvements of ethical and moral values of machines

Patrick Schramowski, Cigdem Turan+3 more|arXiv (Cornell University)|Dec 11, 2019

Topic Modeling参考文献 17被引用 17

一句话总结

本文表明，作为最先进的语言表示模型，BERT 所编码的道德指南比以往方法（如 USE 和 SBERT）更准确、更连贯。通过将道德选择机器（MCM）应用于 BERT 嵌入表示，作者识别出一个主导的主成分，代表一种与义务论伦理一致的道德维度，从而能够对复杂、语境丰富的短语中的行为进行精确分类，判断其为“应做”或“不应做”。

ABSTRACT

Allowing machines to choose whether to kill humans would be devastating for world peace and security. But how do we equip machines with the ability to learn ethical or even moral choices? Jentzsch et al.(2019) showed that applying machine learning to human texts can extract deontological ethical reasoning about "right" and "wrong" conduct by calculating a moral bias score on a sentence level using sentence embeddings. The machine learned that it is objectionable to kill living beings, but it is fine to kill time; It is essential to eat, yet one might not eat dirt; it is important to spread information, yet one should not spread misinformation. However, the evaluated moral bias was restricted to simple actions -- one verb -- and a ranking of actions with surrounding context. Recently BERT ---and variants such as RoBERTa and SBERT--- has set a new state-of-the-art performance for a wide range of NLP tasks. But has BERT also a better moral compass? In this paper, we discuss and show that this is indeed the case. Thus, recent improvements of language representations also improve the representation of the underlying ethical and moral values of the machine. We argue that through an advanced semantic representation of text, BERT allows one to get better insights of moral and ethical values implicitly represented in text. This enables the Moral Choice Machine (MCM) to extract more accurate imprints of moral choices and ethical values.

研究动机与目标

• 探究最先进的语言模型（如 BERT）是否能提升机器学习系统中伦理与道德价值观的表征能力。
• 确定 BERT 的上下文嵌入是否相比早期模型（如通用句子编码器 USE 和 SBERT）能产生更连贯、更可解释的道德维度。
• 将道德选择机器（MCM）框架扩展至检测不仅限于动词层面，还包括复杂、依赖语境的短语中的道德偏见。
• 识别并验证 BERT 嵌入中一个一维的道德子空间，该子空间捕捉了义务论伦理判断。
• 探索利用该道德子空间在 AI 系统中实现伦理对齐、偏见缓解和交互式学习的潜力。

提出的方法

• 将道德选择机器（MCM）框架适配为使用句子 BERT（SBERT）嵌入，而非旧模型（如 USE 或 SBERT 变体）。
• 对动作对的向量差异（例如 'kill' 与 'compliment'）应用主成分分析（PCA），以识别代表道德维度的主导主成分。
• 使用词嵌入关联测试（WEAT）将道德偏见得分与语义关联相关联，验证嵌入中的伦理信号。
• 将复杂道德行为（例如 '我是否应该持枪杀人？'）投影到已识别的道德子空间中，以计算道德偏见得分。
• 比较不同模型（USE 与 BERT）中最高主成分所解释的方差，以评估道德维度的清晰度与连贯性。
• 使用人工标注的模板（例如 '我是否应该杀人？'）生成响应嵌入，并通过道德子空间中的余弦相似度评估道德偏见。

实验结果

研究问题

• RQ1 BERT 的上下文嵌入架构是否相比早期模型（如 USE 和 SBERT）产生更连贯、更可解释的道德维度？
• RQ2 结合 BERT 的道德选择机器（MCM）能否准确分类复杂、依赖语境的道德行为，如 '帮助小偷' 或 '前往朝鲜'？
• RQ3 BERT 嵌入中是否存在一个单一、主导的主成分，能一致地代表多样道德行为中的道德方向？
• RQ4 WEAT 得分与 MCM 衍生的道德偏见得分之间的相关性如何？BERT 是否能提升这种相关性？
• RQ5 所识别的道德子空间是否可用于投影并解释现实世界自然语言道德困境的道德取向？

主要发现

• BERT 的句子嵌入在道德向量差异中解释了显著更高的方差比例，表明其道德维度更清晰、更突出。
• BERT 嵌入的最高主成分始终能将 '应做'（例如 'compliment'、'welcome'）与 '不应做'（例如 'kill'、'murder'）区分开来，形成连贯的道德轴线。
• 如 'kill people' 和 'have a gun to kill people' 等行为被评定为高度负面，而 'become a good parent' 则为正面，显示出上下文相关的道德推理能力。
• 'eat meat' 的道德偏见得分为负，而 'eat healthy' 为正，表明对食物相关行为的伦理细微差别的敏感性。
• 前往朝鲜被视为不适当，而前往美国则被接受——这一区别归因于训练数据（如维基百科）中的历史偏见。
• 道德子空间投影实现了单维道德偏见评分，为 NLP 系统中的伦理对齐提供了一种可扩展且可解释的方法。