[논문 리뷰] A Computational Model of Commonsense Moral Decision Making

Richard Kim, Max Kleiman‐Weiner외 5명|arXiv (Cornell University)|2018. 01. 12.

Psychology of Moral and Emotional Judgment참고 문헌 18인용 수 8

한 줄 요약

이 논문은 인간의 도덕적 딜레마에서 흐린, 노이즈가 많은 판단 데이터로부터 개인 및 집단의 도덕 원칙을 추론하는 계층적 베이지안 계산 모델을 제안한다. 이 모델은 유틸리티 가중치로 작용하는 추상적 도덕 차원을 사용한다. 도메인 데이터셋인 Moral Machine에 적용한 결과, 모델은 인간의 결정을 정확하게 예측하고 반응 시간을 통해 인지 비용을 캡처하며, 해석 가능하고 학습 가능한 인공지능을 위한 윤리 기반을 제공한다.

ABSTRACT

We introduce a new computational model of moral decision making, drawing on a recent theory of commonsense moral learning via social dynamics. Our model describes moral dilemmas as a utility function that computes trade-offs in values over abstract moral dimensions, which provide interpretable parameter values when implemented in machine-led ethical decision-making. Moreover, characterizing the social structures of individuals and groups as a hierarchical Bayesian model, we show that a useful description of an individual's moral values - as well as a group's shared values - can be inferred from a limited amount of observed data. Finally, we apply and evaluate our approach to data from the Moral Machine, a web application that collects human judgments on moral dilemmas involving autonomous vehicles.

연구 동기 및 목표

• 도덕적 딜레마에서 사람들이 윤리적 상충을 어떻게 해결하는지 설명하는 인간의 도덕적 의사결정을 계산적으로 해석 가능한 모델로 개발하는 것.
• 계층적 베이지안 추론을 사용해 제한된 관찰 데이터에서 개인의 도덕적 가치와 집단 규범을 추론하는 것.
• 실제로 Moral Machine 웹 실험에서 수집한 실세계 데이터를 사용해 모델의 예측 능력을 검증하는 것.
• 반응 시간이 도덕적 사고에서 인지 비용을 어떻게 반영하는지 탐색하여 모델의 해석 가능성을 향상시키는 것.
• 사회적 상호작용과 희박한 피드백을 통해 인간과 유사한 도덕적 가치를 학습하는 인공지능 시스템의 기반을 마련하는 것.

제안 방법

• 모델은 도덕적 딜레마를 추상적 도덕 차원(예: '가족', '보상')에 대한 유틸리티 함수로 표현하며, 이 가중치들이 도덕 원칙으로 작용한다.
• 개인의 도덕적 선호는 그룹 수준의 사전 분포에서 추출된 랜덤 변수로 모델링되어 계층적 베이지안 추론가능성을 확보한다.
• 계층적 베이지안 프레임워크를 통해 Moral Machine 데이터셋에서 제한된 인간 판단 데이터로부터 개인의 도덕 원칙과 집단 규범을 추론한다.
• 모델은 반응 시간을 결정의 확신도를 나타내는 지표로 사용하여, 모호한 딜레마에서의 인지 비용을 반영한다.
• 특징 매핑 $F: \Theta \rightarrow \Lambda$는 관찰 가능한 시나리오 특징을 추상적 도덕 차원으로 변환한다.
• 모델은 Moral Machine에서의 3000만 건의 응답 데이터를 기반으로 훈련 및 평가되며, 예측 정확도와 인지 일관성을 테스트한다.

실험 결과

연구 질문

• RQ1 어떻게 계산 모델이 도덕적 딜레마에서 흐린, 노이즈가 많은 인간 판단 데이터로부터 개인의 도덕 원칙을 추론할 수 있는가?
• RQ2 계층적 베이지안 추론을 통해 개인의 도덕적 선호에서 집단 규범을 얼마나 정확하게 복원할 수 있는가?
• RQ3 도덕적 의사결정에서의 반응 시간이 결정의 확신도와 도덕적 사고에서의 인지 비용을 신뢰할 만한 지표로 사용할 수 있는가?
• RQ4 기본 모델 대비 모델이 자율주행차 도덕적 딜레마에서 인간의 판단을 얼마나 잘 예측하는가?
• RQ5 모델이 다양한 도덕적 맥락으로 일반화될 수 있는가? 이는 AI에서 이전 가능한 도덕적 학습을 시사하는가?

주요 결과

• 모델은 희박한 데이터로부터 강력한 일반화 능력을 보이며, Moral Machine의 도덕적 딜레마에서 인간의 판단을 높은 정확도로 예측한다.
• 반응 시간은 결정의 확신도와 상관관계가 있다—더 긴 시간은 낮은 자신감을 의미하며, 이는 모호한 상충을 해결할 때 더 높은 인지 비용을 반영한다.
• 모델은 결정 과정에서 직관적인 패턴을 잘 캡처한다. 명확한 상충이 있는 딜레마에서는 더 빠르고 일관된 반응을 보인다.
• 계층적 베이지안 추론은 희박한 데이터로부터 개인의 도덕 원칙과 집단 규범을 신속하고 정확하게 추론할 수 있도록 한다.
• 모델의 구조는 해석 가능성을 보장하며, 도덕 원칙이 가중된 추상적 차원으로 표현되어 인공지능 결정의 투명성을 향상시킨다.
• 이 프레임워크는 향후 확신도 및 오류 모델(예: 드리프트 디퓨전 모델)과의 통합을 지원하여 인간 행동에서의 추론을 향상시킬 수 있다.