[논문 리뷰] When Is It Acceptable to Break the Rules? Knowledge Representation of Moral Judgement Based on Empirical Data

Edmond Awad, Sydney Levine외 7명|arXiv (Cornell University)|2022. 01. 19.

Psychology of Moral and Emotional Judgment참고 문헌 57인용 수 8

한 줄 요약

이 논문은 인간의 도덕적 탄력성, 즉 규칙을 어길 때의 판단을 모델링하기 위해 시나리오별 맥락과 이중처리 사고(빠른 히우리스틱 및 느린 사고적 사고)를 통합한 일반화된 CP-넷 프레임워크인 SEP-넷을 제안한다. 선에 서는 상황에 대한 실증 데이터를 바탕으로, 도덕적 허용성은 결과 기반(결과주의적) 및 합의 기반(계약론적) 사고에 의해 영향을 받으며, 이는 인공지능 시스템이 언제 도덕적으로 수용 가능한 방식으로 규칙을 어길 수 있는지에 대해 추론할 수 있도록 한다.

ABSTRACT

One of the most remarkable things about the human moral mind is its flexibility. We can make moral judgments about cases we have never seen before. We can decide that pre-established rules should be broken. We can invent novel rules on the fly. Capturing this flexibility is one of the central challenges in developing AI systems that can interpret and produce human-like moral judgment. This paper details the results of a study of real-world decision makers who judge whether it is acceptable to break a well-established norm: ``no cutting in line.'' We gather data on how human participants judge the acceptability of line-cutting in a range of scenarios. Then, in order to effectively embed these reasoning capabilities into a machine, we propose a method for modeling them using a preference-based structure, which captures a novel modification to standard ``dual process'' theories of moral judgment.

연구 동기 및 목표

• 선에 서는 것과 같은 잘 정립된 규칙을 어길 때 인간이 언제 도덕적으로 수용 가능한지를 계산적으로 모델링하는 것.
• 실증 데이터를 활용해 도덕적 판단에서 히우리스틱(시스템 1)과 사고적 사고(시스템 2)의 상호작용을 포착하는 것.
• 시나리오에 따라 변화하는 평가 변수를 도입하여 전통적인 CP-넷을 확장하여 맥락 민감한 도덕적 선호를 모델링하는 것.
• 엄격한 규칙 준수를 넘어서 동적 도덕적 의사결정을 지원하는, 인공지능 시스템이 도덕적 허용성을 추론할 수 있도록 하는 형식론을 개발하는 것.

제안 방법

• 다양한 이유, 위치, 결과를 포함하는 200개의 가상의 선에 서는 상황에 대해 인간의 도덕적 판단을 수집한다.
• 자신의 행동에 대한 이유, 위치, 선 커터의 복지와 같은 핵심 시나리오 변수(SVs)와 타인에 대한 영향, 관찰자 간의 합의 여부와 같은 결과 변수(EVs)를 식별한다.
• 시나리오 맥락과 선호를 SVs와 EVs를 통해 연결함으로써 맥락 인식 도덕적 추론이 가능한, CP-넷의 일반화된 형태인 SEP-넷을 제안한다.
• 결과 기반(시스템 2)과 합의 기반(시스템 2) 사고를 구분하여 이중처리 사고를 모델링하며, 동시에 규칙 불가침성(시스템 1) 히우리스틱도 포함한다.
• 선호 구조를 통해 도덕적 허용성 판단을 표현함으로써 복잡한 맥락 의존적 도덕적 트레이드오프에 대한 추론이 가능하도록 한다.
• 미래의 계획 시스템과의 통합을 위해 데이터에서 선호를 생성할 수 있도록 프레임워크를 확장하여 기술적 인공지능을 위한 지침 제공

실험 결과

연구 질문

• RQ1 어떤 조건에서 사람들이 선에 서는 것과 같은 잘 정립된 규칙을 어길 수 있는지 도덕적으로 수용한다고 판단하는가?
• RQ2 결과 기반 및 합의 기반 사고(시스템 2)는 규칙 어김에 대한 도덕적 판단에 어떻게 영향을 미치는가?
• RQ3 히우리스틱 기반의 규칙 중심 직관(시스템 1)이 도덕적 결정에서 사고적 사고를 얼마나 강하게 대체하는가?
• RQ4 형식적 선호 모델이 규칙 어김 상황에서 인간의 도덕적 탄력성의 복잡성을 포착할 수 있는가?
• RQ5 실증 데이터에서 유도된 도덕적 선호는 어떻게 인공지능 시스템에 통합되어 동적이고 맥락 민감한 도덕적 추론을 가능하게 하는가?

주요 결과

• 참가자들은 자동차 사고로 인한 응급 상황과 같은 급박한 이유가 있거나 선 커터의 복지가 높을 경우 선에 서는 것을 도덕적으로 수용 가능하다고 판단하여 결과 기반 사고가 작용함을 보였다.
• 다른 사람들이 상황에서 규칙 어김에 동의할 수 있는지 여부가 도덕적 허용성에 크게 영향을 미쳐 계약론적 사고가 도덕적 판단의 핵심 요소임을 뒷받침했다.
• 일부 경우에서 참가자들은 맥락과 무관하게 규칙을 절대 어길 수 없다고 간주하여 시스템 1 히우리스틱 사고에 강하게 의존함을 보였다.
• 기존의 CP-넷 형식론이 관찰된 도덕적 판단을 충분히 모델링하지 못함을 확인하여 SEP-넷 개발이 필수적이었음을 입증했다.
• SEP-넷은 시나리오 맥락, 결과 영향, 합의 정도 간의 상호작용을 성공적으로 포착하여 도덕적 탄력성의 정확한 모델링이 가능했다.
• 도덕적 선호 데이터를 형식적이고 계획 호환 가능한 표현으로 변환함으로써 도덕적으로 일치하는 행동 계획을 생성하는 기반을 마련했다.