[논문 리뷰] A Voting-Based System for Ethical Decision Making

Ritesh Noothigattu, Snehalkumar S. Gaikwad외 5명|arXiv (Cornell University)|2017. 09. 20.

Ethics and Social Impacts of AI인용 수 19

한 줄 요약

이 논문은 130만 건의 쌍별 비교를 통해 Moral Machine 플랫폼에서 사회적 선호도를 학습함으로써 자율주행차의 윤리적 의사결정을 위한 투표 기반 시스템을 제안한다. 계산 사회선택 이론을 활용해 순열 과정의 타당한 모델을 통해 개인의 선호도를 집단적 결정으로 집계하며, 개인당 데이터가 제한된 상황에서도 윤리적 선택을 높은 정확도로 예측할 수 있다.

ABSTRACT

We present a general approach to automating ethical decisions, drawing on machine learning and computational social choice. In a nutshell, we propose to learn a model of societal preferences, and, when faced with a specific ethical dilemma at runtime, efficiently aggregate those preferences to identify a desirable choice. We provide a concrete algorithm that instantiates our approach; some of its crucial steps are informed by a new theory of swap-dominance efficient voting rules. Finally, we implement and evaluate a system for ethical decision making in the autonomous vehicle domain, using preference data collected from 1.3 million people through the Moral Machine website.

연구 동기 및 목표

• 윤리적 원칙이 공식적으로 정의되어 있지 않은 AI 문제를 해결하기 위해 사회적 선호도를 집합적 대안으로 통합하는 것.
• 실제 인간의 판단을 기반으로 자율주행차에서의 윤리적 의사결정을 위한 확장 가능한 프레임워크를 개발하는 것.
• 기술적 또는 법적 제약이 실패할 경우, 대규모 인간 입력으로부터 유도된 집단 선호도를 통해 런타임 윤리적 결정을 가능하게 하는 것.
• 공통의 윤리 원칙이 확립되어 있지 않은 상황에서 집단적 사회적 선호도가 윤리 기준의 신뢰할 수 있는 근사치가 될 수 있음을 보여주는 것.

제안 방법

• Moral Machine 웹사이트를 통해 130만 명의 사용자로부터 쌍별 윤리적 판단을 수집하여 다양한 사회적 선호도를 반영한다.
• 연속형 및 이산형 특징을 지원하는 일반화된 무작위 효용 모델(투명도 모델)을 사용해 개인의 선호도를 모델링한다.
• 최대우도 추정을 위한 볼록 최적화 프레임워크를 활용해 개인 선호도 모델을 하나의 집단 모델로 요약한다.
• 런타임에 유한한 대안 부분집합에 대한 선호도를 집계하기 위해 집단 모델에 투표 규칙을 적용한다.
• 공정성과 일관성을 보장하기 위해 스왑-지배 효율적인 투표 규칙 이론을 활용한다.
• 실제 데이터를 사용해 접근 방식을 검증하고, 평균 14건의 비교만으로도 높은 예측 정확도를 입증한다.

실험 결과

연구 질문

• RQ1 기본 윤리 원칙이 존재하지 않는 상황에서 사회적 선호도를 신뢰성 있게 집계하여 자율주행차의 윤리적 결정을 이끌 수 있는가?
• RQ2 대규모 인간 판단을 효율적으로 모델링하고 요약하여 실시간 윤리적 의사결정을 지원할 수 있는가?
• RQ3 어떤 투표 규칙과 집계 기법이 다양한 인간 선호도로부터 파생된 집단 윤리적 결정에서 공정성과 일관성을 보장하는가?
• RQ4 사용자당 제한된 쌍별 비교로도, 단일 집단 모델이 수백만 명의 개인 선호도를 얼마나 정확하게 대표할 수 있는가?
• RQ5 미래의 공식 윤리나 법적 원칙을 통합하면서도 핵심 의사결정 파이프라인에 영향을 주지 않고 유지 가능한 윤리적 의사결정 시스템을 어떻게 설계할 수 있는가?

주요 결과

• 모델이 사용자당 약 14건의 쌍별 비교 데이터로 훈련되었음에도 불구하고 윤리적 선호도를 높은 정확도로 추론하는 데 성공했으며, 이는 투표자 매개변수 분포의 상관성 덕분이었다.
• K > 1개의 투명도 모델 조합을 사용할 경우 단일 모델 대비 정확도 향상이 가능할 수 있으나, 계산 복잡도 증가를 수반한다.
• 실험 결과, 개인 응답의 노이즈가 요약 및 집계 과정에서 상호 상쇄되며, 집단 모델의 강건성을 뒷받침한다.
• 윤리나 법적 원칙이 확보되지 않은 상황에서도 사회적 합의로의 후속 조치가 가능해 모든 상황에서 의사결정 능력을 유지할 수 있다.
• 프레임워크는 모듈식이며 확장 가능하여, 향후 공식 윤리나 법적 규칙의 통합이 가능하며 핵심 의사결정 파이프라인에 영향을 주지 않는다.
• 계산적으로 효율적이고 확장 가능한 방법으로, 볼록 최적화 기반 학습 절차를 통해 실시간 의사결정이 가능하다.