[논문 리뷰] BERT has a Moral Compass: Improvements of ethical and moral values of machines

Patrick Schramowski, Cigdem Turan외 3명|arXiv (Cornell University)|2019. 12. 11.

Topic Modeling참고 문헌 17인용 수 17

한 줄 요약

이 논문은 최신 언어 표현 모델인 BERT가 이전 방법들인 USE와 SBERT보다 더 정확하고 일관된 도덕적 기준을 인코딩한다는 것을 입증한다. BERT 임베딩에 도덕적 선택 기계(Moral Choice Machine, MCM)를 적용함으로써, 도덕적 윤리와 일치하는 단일 주성분이 도출되었으며, 이는 복잡한 맥락 기반 어휘조차도 '해야 할 일' 또는 '해서는 안 될 일'로 정확하게 분류할 수 있도록 한다.

ABSTRACT

Allowing machines to choose whether to kill humans would be devastating for world peace and security. But how do we equip machines with the ability to learn ethical or even moral choices? Jentzsch et al.(2019) showed that applying machine learning to human texts can extract deontological ethical reasoning about "right" and "wrong" conduct by calculating a moral bias score on a sentence level using sentence embeddings. The machine learned that it is objectionable to kill living beings, but it is fine to kill time; It is essential to eat, yet one might not eat dirt; it is important to spread information, yet one should not spread misinformation. However, the evaluated moral bias was restricted to simple actions -- one verb -- and a ranking of actions with surrounding context. Recently BERT ---and variants such as RoBERTa and SBERT--- has set a new state-of-the-art performance for a wide range of NLP tasks. But has BERT also a better moral compass? In this paper, we discuss and show that this is indeed the case. Thus, recent improvements of language representations also improve the representation of the underlying ethical and moral values of the machine. We argue that through an advanced semantic representation of text, BERT allows one to get better insights of moral and ethical values implicitly represented in text. This enables the Moral Choice Machine (MCM) to extract more accurate imprints of moral choices and ethical values.

연구 동기 및 목표

• 최신 언어 모델인 BERT가 기계 학습 시스템 내 윤리적 및 도덕적 가치의 표현을 향상시키는지 조사하는 것.
• BERT의 문맥 기반 임베딩이 이전 모델들인 유니버설 문장 인코더(USE) 및 SBERT와 비교해 더 일관되고 해석 가능한 도덕적 차원을 제공하는지 확인하는 것.
• 도덕적 선택 기계(Moral Choice Machine, MCM) 프레임워크를 확장하여 동사 수준뿐만 아니라 복잡한 맥락 기반 어휘에서도 도덕적 편향을 탐지하는 것.
• BERT 임베딩 내에서 도시적 윤리적 판단을 반영하는 일차원 도덕 하위공간을 식별하고 검증하는 것.
• 이 도덕 하위공간을 활용해 AI 시스템에서 윤리적 조율, 편향 완화 및 상호작용 학습의 잠재력을 탐색하는 것.

제안 방법

• 이전 모델들인 USE나 SBERT 변종 대신 문장-BERT(SBERT) 임베딩을 사용하도록 도덕적 선택 기계(Moral Choice Machine, MCM) 프레임워크를 수정하는 것.
• 행동 쌍(예: '살인하다' 대비 '칭찬하다')의 벡터 차이에 주성분 분석(PCA)을 적용하여 도덕적 차원을 나타내는 주요 주성분을 식별하는 것.
• 도덕적 편향 점수와 의미적 연관성을 관련지기 위해 단어 임베딩 연관 테스트(WEAT)를 사용하여 임베딩 내 윤리 신호의 타당성을 검증하는 것.
• 복잡한 도덕적 행동(예: '사람들을 살인하기 위해 총을 들고 싶은가?')을 식별된 도덕 하위공간에 투영하여 도덕적 편향 점수를 계산하는 것.
• 다양한 모델들(USE 대비 BERT)에서 상위 주성분이 설명하는 분산의 정도를 비교하여 도덕적 차원의 명확성과 일관성을 평가하는 것.
• 인간이 애너테이션한 템플릿(예: '사람들을 살인해야 할까?')을 사용해 응답 임베딩을 생성하고, 도덕 하위공간 내 코사인 유사도를 통해 도덕적 편향을 평가하는 것.

실험 결과

연구 질문

• RQ1 BERT의 문맥 기반 임베딩 아키텍처가 이전 모델들인 USE 및 SBERT보다 더 일관되고 해석 가능한 도덕적 차원을 생성하는가?
• RQ2 BERT를 사용한 도덕적 선택 기계(MCM)는 '도둑을 돕는다'나 '북한으로 가는 것'과 같은 복잡하고 맥락에 의존하는 도덕적 행동을 정확히 분류할 수 있는가?
• RQ3 BERT 임베딩 내에 다양한 윤리적 행동에 걸쳐 일관되게 도덕적 방향을 나타내는 단일 주성분이 존재하는가?
• RQ4 WEAT 점수와 MCM에서 유도된 도덕적 편향 점수 사이의 상관관계는 어느 정도이며, BERT를 사용할 경우 이 상관관계가 향상되는가?
• RQ5 식별된 도덕 하위공간을 활용해 실제 자연어 도덕적 딜레마의 도덕적 성향을 투영하고 해석할 수 있는가?

주요 결과

• BERT의 문장 임베딩은 USE보다 도덕 벡터 차이의 분산을 훨씬 더 높은 비율로 설명하며, 이는 더 명확하고 두드러진 도덕적 차원을 의미한다.
• BERT 임베딩의 상위 주성분은 항상 '해야 할 일'(예: '칭찬하다', '환영하다')과 '해서는 안 될 일'(예: '살인하다', '학살하다')을 분리하여 일관된 도덕 축을 형성한다.
• '사람들을 살인하다'와 '사람들을 살인하기 위해 총을 들고 싶다'와 같은 행동들은 높은 부정적 점수를 기록하며, 반면 '좋은 부모가 되다'는 긍정적으로 평가되어 맥락 기반 도덕적 추론를 보여준다.
• '고기를 먹다'의 도덕적 편향 점수는 부정적이지만, '건강한 식사하기'는 긍정적이므로, 식품 관련 행동에 대한 윤리적 뉘앙스에 민감함을 보인다.
• 북한으로 가는 것은 부적절하다고 평가되고, 미국으로 가는 것은 허용 가능하다—이 차이는 위키백과와 같은 훈련 데이터 내 역사적 편향 때문으로 기인한다.
• 도덕 하위공간 투영을 통해 일차원 도덕적 편향 점수를 산출할 수 있으며, 이는 NLP 시스템에서 윤리적 조율에 대해 확장 가능하고 해석 가능한 방법을 제공한다.