[논문 리뷰] Modelling Human Values for AI Reasoning

Nardine Osman, Mark d’Inverno|ArXiv.org|2024. 02. 09.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 인간의 가치를 형식적이고 계산 가능한 방식으로 모델링하는 것을 목표로 하는 공식적인 모델인 가치 분류체계 모델(Value Taxonomy Model, VTM)을 제안한다. 이 모델을 통해 AI 시스템은 가치에 대해 명시적으로 추론할 수 있다. 사회심리학과 형식적 논리의 통찰을 통합함으로써 VTM은 가치의 의미, 중요도, 관계를 포괄하여 의료 분야 및 가치 기반 의사결정이 핵심적인 다른 분야에서의 실용적 응용을 가능하게 한다.

ABSTRACT

One of today's most significant societal challenges is building AI systems whose behaviour, or the behaviour it enables within communities of interacting agents (human and artificial), aligns with human values. To address this challenge, we detail a formal model of human values for their explicit computational representation. To our knowledge, this has not been attempted as yet, which is surprising given the growing volume of research integrating values within AI. Taking as our starting point the wealth of research investigating the nature of human values from social psychology over the last few decades, we set out to provide such a formal model. We show how this model can provide the foundational apparatus for AI-based reasoning over values, and demonstrate its applicability in real-world use cases. We illustrate how our model captures the key ideas from social psychology research and propose a roadmap for future integrated, and interdisciplinary, research into human values in AI. The ability to automatically reason over values not only helps address the value alignment problem but also facilitates the design of AI systems that can support individuals and communities in making more informed, value-aligned decisions. More and more, individuals and organisations are motivated to understand their values more explicitly and explore whether their behaviours and attitudes properly reflect them. Our work on modelling human values will enable AI systems to be designed and deployed to meet this growing need.

연구 동기 및 목표

• AI에서 가치 일치 문제를 해결하기 위해 인간 가치의 형식적이고 계산 가능한 표현을 개발하는 것.
• 사회심리학 분야의 가치 연구와 실용적 AI 시스템 설계 간 격차를 메우는 것.
• 실제 상황에서 인간 및 인공지능 행동의 가치 일치성을 추론할 수 있도록 AI 시스템을 지원하는 것.
• AI 피드백 메커니즘을 통해 개인 및 조직이 보다 정보에 기반하고 가치를 고려한 의사결정을 내릴 수 있도록 지원하는 것.
• 실증적인 사회심리학 연구에 기반한 토대를 제공하여 향후 가치에 관한 다학제적 연구에 기여하는 기초 프레임워크를 마련하는 것.

제안 방법

• 가치 의미, 중요도, 관계를 포함한 구조화된 가치 분류체계를 활용하여 인간 가치의 형식적 모델을 개발한다.
• 정확한 가치 표현과 상호의존성 표현을 위해 형식 언어를 활용함으로써 계산 가능성과 논리적 일관성을 확보한다.
• 수십 년에 걸친 사회심리학적 가치 연구에 기반하여 기존 이론과 개념적 유사성을 확보한다.
• 실제 데이터 구조와 알고리즘을 지원하면서도 실행 환경에 종속되지 않는 설계를 함으로써 유연성을 확보한다.
• 의료 전문가들과의 협업을 통해 임상 의사결정의 가치 일치성을 평가하는 등 실제 응용을 통해 모델을 검증한다.
• 형식적 모델을 사회심리학 문헌에 다시 매핑하여 기존 연구에서의 가치 구조 및 역학에 대한 경험적 발견과의 일관성을 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 인간 가치를 AI 시스템에서 계산 가능한 방식으로 형식적으로 표현할 수 있는가?
• RQ2 사회심리학 연구를 반영한 방식으로 가치 의미, 중요도, 상호관계를 모델링하기 위해 필요한 핵심 구성 요소는 무엇인가?
• RQ3 형식적 가치 모델을 어떻게 실생활 분야, 예를 들어 의료 분야에서 가치 일치를 향상시키는 데 실용적으로 적용할 수 있는가?
• RQ4 AI 시스템은 이러한 모델을 어떻게 활용하여 인간 또는 집단 행동의 가치 일치성을 평가하고 피드백을 줄 수 있는가?
• RQ5 이 모델은 개인 및 조직이 가치 체계를 체계적으로 식별하고 반성하며 진화시킬 수 있도록 어떻게 지원할 수 있는가?

주요 결과

• 제안된 가치 분류체계 모델(VTM)은 가치 의미, 중요도, 관계를 명시적으로 표현하는 최초의 형식적이고 계산 가능한 인간 가치 모델이다.
• 모델은 사회심리학적 통찰을 성공적으로 반영하였으며, 특히 가치의 계층적 및 관계적 성격을 상세한 기존 연구와의 매핑을 통해 입증하였다.
• VTM는 실용적 AI 응용을 가능하게 하였으며, 예를 들어 Hospital del Mar에서 임상 의사결정 및 지침의 가치 일치성을 평가함으로써 의사결정 지원의 질을 향상시켰다.
• 모델은 시간과 맥락을 초월한 가치 일치 추론을 가능하게 하여 변화하는 가치 체계에 대한 행동의 동적 평가를 가능하게 하였다.
• 형식적 모델은 인간 가치와 일치하는 AI 시스템을 구축하는 데 기초를 제공할 뿐 아니라, 사용자가 자신의 가치를 더 의식적으로 이해하도록 돕는 데에도 기여한다.
• 실제 협업을 통해 모델의 타당성과 실용적 영향력을 입증하였으며, 의료 및 비상구조 서비스와 같은 복잡하고 가치 기반의 환경에서의 적용 가능성을 입증하였다.