[논문 리뷰] Using experimental game theory to transit human values to ethical AI

Yijia Wang, Yan Wan외 1명|arXiv (Cornell University)|2017. 11. 16.

Psychology of Moral and Emotional Judgment참고 문헌 16인용 수 3

한 줄 요약

이 논문은 실험 게임 이론을 활용하여 인간의 도덕적 가치—특히 칸트 윤리학—을 AI 시스템에 추출하고 통합하는 계산 프레임워크를 제안한다. 이는 인간 행동 데이터의 정량적 측정을 통해 윤리적 의사결정을 가능하게 한다. 전략 및 결과 공간에서 AI-인간 상호작용을 모델링함으로써, 반복적 납치자 딜레마 실험을 통해 AI 윤리성을 테스트할 수 있으며, 이는 Generosity 전략이 윤리적으로 타당하고 Extortion 전략은 그렇지 않음을 보여준다. 이는 윤리적 AI 설계를 위한 엄밀하고 검증 가능하며 산업 현장에서 적용 가능한 방법을 제공한다.

ABSTRACT

Knowing the reflection of game theory and ethics, we develop a mathematical representation to bridge the gap between the concepts in moral philosophy (e.g., Kantian and Utilitarian) and AI ethics industry technology standard (e.g., IEEE P7000 standard series for Ethical AI). As an application, we demonstrate how human value can be obtained from the experimental game theory (e.g., trust game experiment) so as to build an ethical AI. Moreover, an approach to test the ethics (rightness or wrongness) of a given AI algorithm by using an iterated Prisoner's Dilemma Game experiment is discussed as an example. Compared with existing mathematical frameworks and testing method on AI ethics technology, the advantages of the proposed approach are analyzed.

연구 동기 및 목표

• AI 행동을 인간의 가치, 특히 칸트 윤리학과 일치시키기 위한 수학적으로 엄밀하고 계산 가능하며 실험적으로 검증 가능한 방법을 개발하는 것.
• 칸트 윤리학과 복리주의를 포함한 도덕 철학과 AI 윤리 산업 기준(예: IEEE P7000) 간 격차를 통일된 수학적 표현을 통해 메우는 것.
• 통제된 행동 실험을 통해 인간의 가치—예: 공정성, 신뢰, 이타심—을 정량적으로 이행하여 윤리적 AI 설계에 적용하는 것.
• 비협력 게임에서 결과 공간 분석을 활용하여 AI 알고리즘의 윤리성을 실용적이고 확장 가능하며 검증 가능한 방법으로 평가하는 것.
• 기존의 인도적이고 언어 기반의 AI 윤리 기준(예: IEEE P7000)의 한계를 극복하기 위해 추론 기반, 데이터 기반, 수학적으로 체계화된 접근 방식을 도입하는 것.

제안 방법

• 논문은 AI-인간 상호작용의 수학적 표현을 도입한다: $\mathbf{S}^{a}_{i} \otimes \mathbf{S}^{b}_{j} \rightarrow \mathbf{O}$, 여기서 $\mathbf{S}^{a}$와 $\mathbf{S}^{b}$는 각각 AI와 인간의 전략 공간이며, $\mathbf{O}$는 보상(예: 보상, 비용, 공정성)을 나타내는 결과 공간이다.
• 칸트적 가치를 순수 합리적 선택에서 벗어나 도덕적으로 기초된 행동 성분으로 정의하고, 이를 결과 공간에 제약 조건 또는 AI 정렬의 목표로 통합한다.
• 신뢰 게임, 공공재 게임 등의 실험 게임 이론 데이터에서 인간의 가치—예: 신뢰, 공정성—을 추출하여 윤리적 AI 행동을 校정하는 데 사용하는 매개변수로 활용한다.
• 반복적 납치자 딜레마(IPD)를 사용하여 AI 알고리즘의 윤리성을 테스트하며, 결과 공간 분석을 통해 AI 행동이 공정하고 남용되지 않는지 평가한다.
• 실제 실험 점수를 윤리 기준과 비교하기 위해 이론적 결과 선(예: Extortion은 빨간 선, Generosity는 초록 선)을 사용하며, 공정성과 효율성이 주요 평가 기준이 된다.
• 이전 모델과의 대비에서, 본 연구는 결과 공간에 칸트적 가치를 명시적으로 모델링함으로써 계산 가능한 해법을 가능하게 하였으며, 이는 이전 모델에서 윤리적 결정이 모호하게 남아 있던 것과 대비된다.

실험 결과

연구 질문

• RQ1 칸트 윤리학과 복리주의 도덕 철학을 AI 윤리에 통합하기 위한 단일 계산 프레임워크로 공식화할 수 있는가?
• RQ2 실험 게임 이론에서 유래한 인간의 가치가 비협력적 환경에서 윤리적 AI 행동을 신뢰성 있게 校정하는 데 사용될 수 있는가?
• RQ3 반복 게임에서 결과 공간 분석을 통해 주어진 AI 알고리즘의 윤리성을 정량적으로 평가할 수 있는가?
• RQ4 현재의 인도적이고 언어 기반의 AI 윤리 기준(예: IEEE P7000)의 한계는 무엇이며, 추론 기반, 데이터 기반 접근 방식으로 어떻게 개선될 수 있는가?
• RQ5 신뢰 게임과 공공재 게임에서 유도된 실험 데이터는 얼마나 정확하게 AI 에이전트의 윤리적 제어 매개변수를 정의하는 데 활용될 수 있는가?

주요 결과

• 반복적 납치자 딜레마에서 Generosity 전략는 $\frac{3 - s_{hg}}{3 - s_g} = \frac{1}{3}$ 를 만족하며, AI와 인간 모두 최고 점수 3을 기록하여 공정성과 효율성을 확보하고, 따라서 윤리적으로 타당하다.
• Extortion 전략는 $\frac{s_{he} - 1}{s_e - 1} = \frac{1}{3}$ 를 만족하며, 인간 최고 점수 1.907과 AI 점수 3.727을 기록하여 불공정한 결과를 초래하므로 비윤리적이라고 판단된다.
• 비협력 게임(예: 신뢰 게임)에서 인간 피실험자로부터 유도된 실험 데이터는 공정성, 신뢰, 이타심의 정량적 값을 추출할 수 있으며, 이를 AI 의사결정에 통합할 수 있다.
• 제안된 프레임워크는 모호성과 주관성을 피하는 수학적으로 엄밀하고 검증 가능하며 계산 가능한 방법을 제공하여, IEEE P7000와 같은 표준에서 사용되는 언어 기반 체크리스트의 한계를 극복한다.
• 칸트적 가치를 결과 공간에 명시적으로 모델링함으로써, 본 연구는 AI에서 칸트 윤리학과 복리주의 윤리학 간의 갈등을 해결하며 순수 효용 극대화를 초월한 윤리적 행동을 가능하게 한다.
• 이 방법은 인간 행동 데이터를 기반으로 윤리적 설계를 이끄는 바탕이 되어 자율 주행차, 드론, 금융 에이전트와 같은 실제 AI 시스템에 확장 가능하고 적용 가능한 것으로 평가된다.