[논문 리뷰] Requisite Variety in Ethical Utility Functions for AI Value Alignment

Nadisha-Marie Aliman, Leon Kester|arXiv (Cornell University)|2019. 06. 30.

Psychology of Moral and Emotional Judgment참고 문헌 32인용 수 10

한 줄 요약

이 논문은 윤리적 유틸리티 함수에 신경과학과 심리학의 과학적 통찰을 통합하여 인간의 도덕적 직관의 전반적인 다양성을 반영할 수 있도록 하며, 비규범적 윤리적 프레임워크인 보완된 유틸리타리즘을 사용하여 AI의 유틸리티 함수를 설계한다. 이를 통해 악성 공격에 대한 강건성과 AI의 가치 정렬을 향상시키기 위해 시뮬레이션된 미래 경험을 통한 사회기술적 피드백 루프를 제안한다.

ABSTRACT

Being a complex subject of major importance in AI Safety research, value alignment has been studied from various perspectives in the last years. However, no final consensus on the design of ethical utility functions facilitating AI value alignment has been achieved yet. Given the urgency to identify systematic solutions, we postulate that it might be useful to start with the simple fact that for the utility function of an AI not to violate human ethical intuitions, it trivially has to be a model of these intuitions and reflect their variety $ - $ whereby the most accurate models pertaining to human entities being biological organisms equipped with a brain constructing concepts like moral judgements, are scientific models. Thus, in order to better assess the variety of human morality, we perform a transdisciplinary analysis applying a security mindset to the issue and summarizing variety-relevant background knowledge from neuroscience and psychology. We complement this information by linking it to augmented utilitarianism as a suitable ethical framework. Based on that, we propose first practical guidelines for the design of approximate ethical goal functions that might better capture the variety of human moral judgements. Finally, we conclude and address future possible challenges.

연구 동기 및 목표

• 인간의 도덕적 직관과 일치하는 윤리적 유틸리티 함수 설계에 대한 합의 부족을 해결하기 위해.
• AI 가치 정렬 문제를 윤리적 유틸리티 함수의 악성 조작에 대한 저항력이 필요한 보안 문제로 재정의하기 위해.
• 신경과학과 심리학에서의 몸에 박히는 도덕성—특히 정서와 이원적 인지—에 대한 과학적 지식을 유틸리티 함수 설계에 통합하기 위해.
• 인간 도덕 판단의 필요 다양성을 반영하는 실용적 지침을 마련하기 위해.
• 가상현실(VR), 증강현실(AR) 등 임베디드 미디어를 통해 대표적인 사회 집단이 미래 시나리오를 경험하는 사전 시뮬레이션을 통해 윤리적 유틸리티 함수의 사회적 수준의 유틸리티와 복지를 평가하는 검증 프레임워크를 제안하기 위해.

제안 방법

• 선형 조절자 정리(good regulator theorem)를 적용하여 윤리적 유틸리티 함수가 인간의 윤리적 직관을 모델링해야만 위반이 방지된다고 주장한다.
• 건설주의 신경과학과 인지과학을 활용하여 정서와 감정이 도덕적 판단의 핵심 요소이며, 그것들이 몸에 기반한 성격을 지닌다고 강조한다.
• 이원적 도덕성(dyadic morality)을 사회적 및 지각적 맥락에서 도덕적 판단이 어떻게 발생하는지 이해하는 심리학적 프레임워크로 도입한다.
• 비규범적이고 과학에 기반한 윤리적 프레임워크인 보완된 유틸리타리즘을 사용하여 윤리적 목표 함수를 수립한다.
• 사회적 수준의 윤리적 목표 함수 $U_{Total}(s,a,s^{ ext{′}})$ 를 개인의 인식자에 따라 달라지는 유틸리티의 가중 평균 집합으로 정의하며, 공감대 기반 파rameter 세트를 사용한다.
• 대상 사회 집단이 가상현실(VR), 오디오 스토리 등 임베디드 미디어를 통해 미래 시나리오를 경험하는 사전 시뮬레이션을 통해 유틸리티 함수를 검증하며, 시간에 따른 정서의 통합을 통해 인위적으로 시뮬레이션된 미래 순간 유틸리티 $U_{TotalAS}$ 를 측정한다: $U_{TotalAS}(s,a,s^{ ext{′}}) \approx \sum_{n=1}^{N} \int_{t_0}^{T} I_n(t)dt$.

실험 결과

연구 질문

• RQ1 학습 기반 방법 외에 인간 도덕적 직관의 필요 다양성을 반영할 수 있도록 윤리적 유틸리티 함수를 어떻게 설계할 수 있는가?
• RQ2 정서와 이원적 인지가 도덕적 판단에 어떤 영향을 미치며, 이러한 요소들을 AI 유틸리티 함수에 어떻게 모델링할 수 있는가?
• RQ3 보완된 유틸리타리즘과 같은 비규범적 윤리적 프레임워크를 사용하여 인식자에 따라 달라지는 윤리적 목표 함수를 어떻게 구성할 수 있는가?
• RQ4 가상현실(VR), 증강현실(AR) 등의 시뮬레이션된 사회적 경험은 윤리적 유틸리티 함수의 검증에 어떤 역할을 할 수 있는가?
• RQ5 사회기술적 피드백 루프는 시간이 지남에 따라 지속적으로 유틸리티 함수의 검증과 동적 향상을 보장하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 선형 조절자 정리에 따르면 윤리적 유틸리티 함수는 인간의 윤리적 직관의 다양성을 모델링해야 하며, 그렇지 않으면 윤리적 직관을 위반할 수 있다.
• 몸에 기반한 인지에서 유래하는 도덕적 판단의 정서적 및 이원적 구성 요소는 악성 조작에 대한 강건성을 확보하기 위해 유틸리티 함수에 통합되어야 한다.
• 제안된 사회적 윤리적 목표 함수 $U_{Total}(s,a,s^{ ext{′}})$ 는 공감대 기반의 인식자에 따라 달라지는 유틸리티 집합의 평균화로 정의되며, 집단적 윤리 정렬을 가능하게 한다.
• 가상현실 등 임베디드 시뮬레이션 중 핵심 정서 정서성(valence) $I_n(t)$ 의 시간적 통합을 통해 인위적으로 시뮬레이션된 미래 순간 유틸리티 $U_{TotalAS}$ 를 측정할 수 있으며, 이는 미래의 복지에 대한 대체 측정 지표가 된다.
• 실제 배포 이전에 시뮬레이션된 사회적 경험을 활용한 검증을 통해 윤리 정렬을 조기에 평가할 수 있으며, 이는 실제 배포 전 리스크 감소에 기여한다.
• 사전에 합의된 측정 기준—예를 들어 사회적 만족도 또는 이원적 인지의 인식—을 활용한 배포 후 검증을 통해 윤리적 목표 함수의 지속적인 모니터링과 적응이 가능해진다.