[論文レビュー] Language Models have a Moral Dimension.

Patrick Schramowski, Cigdem Turan+3 more|arXiv (Cornell University)|Mar 8, 2021

Topic Modeling参考文献 53被引用数 7

ひとこと要約

この論文は、大規模言語モデル（LM）が、未加工のテキストコーパスから社会的・道徳的規範を暗黙的に学習していること、つまり、その埋め込み空間における幾何的方向として『道徳的次元』を学習していることを明らかにしている。この方向を特定することで、モデルは明示的な微調整なしにフレーズの規範性を評価でき、結果としてテキスト生成を社会的に受け入れられる出力へと導く『道徳的コンパス』として機能する。

ABSTRACT

Artificial writing is permeating our lives due to recent advances in large-scale, transformer-based language models (LMs) such as BERT, its variants, GPT-2/3, and others. Using them as pretrained models and fine-tuning them for specific tasks, researchers have extended the state of the art for many NLP tasks and shown that they not only capture linguistic knowledge but also retain general knowledge implicitly present in the data. These and other successes are exciting. Unfortunately, LMs trained on unfiltered text corpora suffer from degenerate and biased behaviour. While this is well established, we show that recent improvements of LMs also store ethical and moral values of the society and actually bring a ``moral dimension'' to surface: the values are capture geometrically by a direction in the embedding space, reflecting well the agreement of phrases to social norms implicitly expressed in the training texts. This provides a path for attenuating or even preventing toxic degeneration in LMs. Since one can now rate the (non-)normativity of arbitrary phrases without explicitly training the LM for this task, the moral dimension can be used as ``moral compass'' guiding (even other) LMs towards producing normative text, as we will show.

研究の動機と目的

• 大規模言語モデルが、フィルタリングされていないテキストコーパスから、社会的・道徳的価値を暗黙的に学習しているかどうかを調査すること。
• これらの道徳的価値が、モデルの埋め込み空間において明確な方向として表現可能かどうかを特定すること。
• このようなデータでモデルを微調整することなく、非規範的または有害な言語を検出するための手法を開発すること。
• この道徳的次元を、言語モデルの倫理的行動を向上させるためのガイドラインとして活用できるようにすること。

提案手法

• 著者たちは、多様なフレーズに対して言語モデルの活性化パターンを分析し、それらが社会的規範とどの程度整合しているかを測定している。
• テキスト埋め込みの統計的分析から得られる、フレーズの規範性と相関する一貫した埋め込み空間内での方向を同定している。
• 社会的規範準拠のラベルが付与されたフレーズデータセットを用いて、線形プローブ技術を用いてこの道徳的次元を抽出している。
• フレーズの埋め込みと道徳的次元ベクトルとのコサイン類似度を計算することで、この手法はゼロショットでのフレーズ規範性分類を可能としている。
• モデルの出力を道徳的次元に一致させるように調整することで、テキスト生成をガイドするアプローチが適用されている。これにより、社会的規範からの逸脱を最小限に抑える。
• この手法は、追加の微調整を要せず、有害または非規範的言語を検出する能力について評価されている。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルに内在する道徳的・倫理的価値が、埋め込み空間において単一の方向として幾何学的に表現可能か？
• RQ2 この道徳的次元が、人間によるアノテーションによるフレーズの規範性スコアとどの程度相関しているか？
• RQ3 この方向を用いて、モデルの微調整なしに非規範的または有害な言語を検出可能か？
• RQ4 この道徳的次元が、言語モデルの出力を社会的に受け入れられる出力へと導くためのガイド信号として機能可能か？

主な発見

• 道徳的次元は、フィルタリングされていないテキストコーパスで訓練された大規模言語モデルの埋め込み空間において、一貫して識別可能な明確な方向として存在する。
• 道徳的次元に高い整合性を持つフレーズは、人間によるアノテーションが施されたデータセットで高い規範性スコアを獲得している。
• この手法は、タスク固有の微調整を要せず、高い正確性で非規範的言語のゼロショット検出を可能としている。
• テキスト生成中に道徳的コンパスを適用することで、有害または非倫理的な出力が生成される可能性が顕著に低減されている。
• この道徳的次元は、異なるモデルアーキテクチャーや学習データ分布に対して強く保たれている。
• このアプローチは、スケーラブルで解釈可能かつ一般化可能な、言語モデルにおける倫理的整合性のための手法を提供している。