[논문 리뷰] A computational framework for human values

Nardine Osman, Mark d’Inverno|arXiv (Cornell University)|2023. 05. 04.

Psychology of Moral and Emotional Judgment인용 수 4

한 줄 요약

이 논문은 사회과학 연구에 기반한 공식적인 계산 프레임워크를 제안하여 인간의 가치를 형식적으로 정의하고, 구조화된 가치 분류체계를 통해 AI 시스템이 인간의 가치를 표현하고 추론하며 이를 일치시킬 수 있도록 한다. 이 프레임워크는 동적 가치 모델링, 가치 일치 측정을 지원하며, 다중 에이전트 시스템과 통합 가능하여 윤리적 AI 설계를 위한 기초 모델을 제공한다. 인간의 가치에 대해 증명 가능한 일치를 이룬다.

ABSTRACT

In the diverse array of work investigating the nature of human values from psychology, philosophy and social sciences, there is a clear consensus that values guide behaviour. More recently, a recognition that values provide a means to engineer ethical AI has emerged. Indeed, Stuart Russell proposed shifting AI's focus away from simply ``intelligence'' towards intelligence ``provably aligned with human values''. This challenge -- the value alignment problem -- with others including an AI's learning of human values, aggregating individual values to groups, and designing computational mechanisms to reason over values, has energised a sustained research effort. Despite this, no formal, computational definition of values has yet been proposed. We address this through a formal conceptual framework rooted in the social sciences, that provides a foundation for the systematic, integrated and interdisciplinary investigation into how human values can support designing ethical AI.

연구 동기 및 목표

• AI 연구에서 인간의 가치에 대한 공식적이고 계산 가능한 정의가 부족한 문제를 해결하기 위해.
• 윤리적 AI 개발을 지원하는 통합적이고 다학제적인 인간 가치 모델링 기반 제공을 위해.
• 개인 및 집단 가치에 대한 체계적 추론을 가능하게 하며, 시간에 따른 동적 변화도 포함하기 위해.
• 값 일치 문제를 형식화하여 AI 행동과 인간 가치 간의 증명 가능한 일치를 가능하게 하기 위해.
• 값 인식 AI 시스템을 위한 데이터 구조 및 알고리즘 설계를 지원하기 위해.

제안 방법

• 추상적 개념(라벨)을 사용한 공식적 가치 분류체계를 제안하며, 의미를 위한 속성 노드와 중요도 가중치를 도입하여 가치의 일관성과 계층성을 표현한다.
• 선택된 가치와 행동의 일관성 정도를 기반으로 한 계산 모델을 도입하며, 정규화된 유사도 측정을 사용하여 가치 일치를 정의한다.
• 인간과 인공 에이전트를 통합한 하이브리드 다중 에이전트 시스템을 통해 개인 및 집단 가치를 모델링한다. 조직 또는 공동체 환경에서 적용된다.
• 상황적 맥락 평가를 통합하여 동적 가치 진화를 모델링하며, 에이전트가 상황적 맥락에 따라 가치를 재평가하도록 한다.
• 실행 예시를 통해 구현 선택 사항을 설명하며, 가치 표현, 일치 계산, 맥락 기반 추론를 시각화한다.
• 정밀도를 보장하고 알고리즘 개발을 지원하며, 값에 대한 증명 기반 추론을 가능하게 하기 위해 형식 언어를 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 인간의 가치를 AI에서 계산 가능한 추론을 지원할 수 있도록 공식적으로 정의하고 표현할 수 있는가?
• RQ2 시간에 따라 개인 및 집단 가치를 동적으로 모델링할 수 있는 메커니즘은 무엇인가?
• RQ3 AI 행동과 인간 가치 간의 가치 일치를 어떻게 공식적으로 측정하고 정량화할 수 있는가?
• RQ4 개인 및 집단의 가치를 집계하기 위한 계산 및 표현적 요구사항은 무엇인가?
• RQ5 사람들의 이해관계자로부터 명시적 및 암시적으로 가치 분류체계를 어떻게 구성하고 학습할 수 있는가?

주요 결과

• 제안된 프레임워크는 사회과학 연구의 核심 원리인 가치 일관성과 중요도 가중치를 통합하여, 계산적으로 구현 가능한 인간 가치의 공식적 모델을 제공한다.
• 값 일치는 관찰된 행동과 선택된 가치 간의 정규화된 유사도 측정으로 공식화되며, 실행 예시에서 계산된 값은 0.475이다.
• 맥락 민감한 평가를 통해 동적 가치 추론을 지원하며, 에이전트가 시간이 지남에 따라 가치 기반 결정을 적응적으로 조정할 수 있다.
• 이 프레임워크는 가치 일치 및 집계를 위한 체계적 알고리즘 개발을 가능하게 하며, 증명 가능한 일치를 보장하는 AI 시스템의 기초를 제공한다.
• 이 접근법은 다중 에이전트 시스템으로 확장 가능하며, 인간 이해관계자로부터 명시적 및 암시적 방식으로 가치를 획득하는 데도 지원한다.
• 모델 설계는 기존의 다중 에이전트 시스템(MAS) 개념과 통합 가능하며, 이론적 명확성과 구현의 유연성을 유지한다.