[논문 리뷰] Language Models have a Moral Dimension.

Patrick Schramowski, Cigdem Turan외 3명|arXiv (Cornell University)|2021. 03. 08.

Topic Modeling참고 문헌 53인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(LMs)이 텍스트 코퍼스에서 필터링되지 않은 데이터를 학습함에 따라 암묵적으로 '도덕적 차원'을 학습한다는 점을 드러낸다. 이는 모델의 임bedding 공간 내에서 사회적 도덕적 및 윤리적 규범을 표현하는 기하학적 방향이다. 이 방향을 식별함으로써, 모델은 명시적인 피니테이닝 없이도 문장의 규범성(normativity)을 평가할 수 있으며, 이는 텍스트 생성을 사회적으로 수용 가능한 결과로 이끄는 '도덕적 나침반'으로 기능하게 한다.

ABSTRACT

Artificial writing is permeating our lives due to recent advances in large-scale, transformer-based language models (LMs) such as BERT, its variants, GPT-2/3, and others. Using them as pretrained models and fine-tuning them for specific tasks, researchers have extended the state of the art for many NLP tasks and shown that they not only capture linguistic knowledge but also retain general knowledge implicitly present in the data. These and other successes are exciting. Unfortunately, LMs trained on unfiltered text corpora suffer from degenerate and biased behaviour. While this is well established, we show that recent improvements of LMs also store ethical and moral values of the society and actually bring a ``moral dimension'' to surface: the values are capture geometrically by a direction in the embedding space, reflecting well the agreement of phrases to social norms implicitly expressed in the training texts. This provides a path for attenuating or even preventing toxic degeneration in LMs. Since one can now rate the (non-)normativity of arbitrary phrases without explicitly training the LM for this task, the moral dimension can be used as ``moral compass'' guiding (even other) LMs towards producing normative text, as we will show.

연구 동기 및 목표

• 대규모 언어 모델이 필터링되지 않은 텍스트 코퍼스에서 암묵적으로 사회적 도덕적 및 윤리적 가치를 학습하는지 조사하기 위해.
• 이러한 도덕적 가치가 모델의 임베딩 공간에서 별개의 방향으로 표현될 수 있는지 확인하기 위해.
• 모델을 해당 데이터에 대해 추가 학습 없이도 비규범적 또는 유해한 언어를 탐지할 수 있는 방법을 개발하기 위해.
• 이 도덕적 차원을 언어 모델의 윤리적 행동을 향상시키는 지침 기반 메커니즘으로 활용할 수 있도록 하기 위해.

제안 방법

• 저자들은 다양한 문장에 대해 언어 모델의 활성화 패턴을 분석하여, 그들이 사회적 규범과 얼마나 일치하는지 측정한다.
• 텍스트 임베딩의 통계적 분석을 통해 유의미한 일관성 있는 방향을 도출하여, 문장의 규범성과 관련된 임베딩 공간 내의 일관된 방향을 식별한다.
• 사회 규범 준수 여부가 레이블링된 문장 데이터셋을 기반으로 선형 프로빙 기법을 사용하여 이 도덕적 차원을 추출한다.
• 문장의 임베딩과 도덕적 방향 벡터 간의 코사인 유사도를 계산하여, 이 방법을 통해 제로샷(Zero-shot) 분류를 수행함으로써 문장의 규범성을 탐지할 수 있다.
• 모델의 출력을 도덕적 방향에 따라 조정하여 텍스트 생성 과정에서 사회적 규범에서의 이탈을 최소화함으로써, 이 방법을 텍스트 생성에 적용한다.
• 이 방법이 추가적인 피니테이닝 없이도 비규범적 또는 유해한 언어를 탐지하는 데 얼마나 효과적인지 평가한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델 내에 존재하는 도덕적 및 윤리적 가치들이 임베딩 공간 내에서 단일 방향으로 기하학적으로 표현될 수 있는가?
• RQ2 이 도덕적 방향이 인간이 애너테이션한 문장의 규범성 점수와 얼마나 관련이 있는가?
• RQ3 이 방향을 사용하여 모델를 추가 학습 없이도 비규범적 또는 유해한 언어를 탐지할 수 있는가?
• RQ4 이 도덕적 차원이 언어 모델의 생성 결과를 사회적으로 수용 가능한 방향으로 이끄는 지침 신호로 기능할 수 있는가?

주요 결과

• 도덕적 차원은 필터링되지 않은 텍스트 코퍼스에서 학습된 대규모 언어 모델의 임베딩 공간에서 일관되게 식별 가능한 별개의 방향으로 확인된다.
• 도덕적 방향과 더 높은 일치도를 보이는 문장은 인간 애너테이션 데이터셋에서 더 높은 규범성 점수를 받는다.
• 이 방법은 작업 전용 피니테이닝 없이도 높은 정확도로 비규범적 언어를 제로샷 탐지할 수 있다.
• 텍스트 생성 과정에서 도덕적 나침반을 적용함으로써, 독성 또는 비윤리적인 출력이 발생할 가능성이 크게 감소한다.
• 이 도덕적 방향은 다양한 모델 아키텍처와 훈련 데이터 분포에 대해 강건하게 유지된다.
• 이 방법은 윤리적 일치를 위한 확장 가능하고 해석 가능하며 일반화 가능한 접근법을 제공한다.