[논문 리뷰] Value Engineering for Autonomous Agents

Nieves Montes, Nardine Osman외 2명|arXiv (Cornell University)|2023. 02. 17.

Psychology of Moral and Emotional Judgment인용 수 7

한 줄 요약

이 논문은 인간이 선택한 가치를 맥락에 따라 달라지는 목표로 통합하여, 행동에 대한 규범적 추론을 가능하게 하고, 가치 인식 기반의 규범 평가를 통해 이러한 가치와 함께 규범을 공동으로 조율하는 인공도덕적 에이전트(AMA)를 위한 새로운 범주를 제안한다. 주요 기여는 가치를 목표 구조에 연결하고 합의 기반 메커니즘을 통해 공유된 인간의 가치를 반영하는 규범을 함께 진화시키는 프레임워크를 제공함으로써 에이전트가 가치 인식 능력을 갖추는 것이다.

ABSTRACT

Machine Ethics (ME) is concerned with the design of Artificial Moral Agents (AMAs), i.e. autonomous agents capable of reasoning and behaving according to moral values. Previous approaches have treated values as labels associated with some actions or states of the world, rather than as integral components of agent reasoning. It is also common to disregard that a value-guided agent operates alongside other value-guided agents in an environment governed by norms, thus omitting the social dimension of AMAs. In this blue sky paper, we propose a new AMA paradigm grounded in moral and social psychology, where values are instilled into agents as context-dependent goals. These goals intricately connect values at individual levels to norms at a collective level by evaluating the outcomes most incentivized by the norms in place. We argue that this type of normative reasoning, where agents are endowed with an understanding of norms' moral implications, leads to value-awareness in autonomous agents. Additionally, this capability paves the way for agents to align the norms enforced in their societies with respect to the human values instilled in them, by complementing the value-based reasoning on norms with agreement mechanisms to help agents collectively agree on the best set of norms that suit their human values. Overall, our agent model goes beyond the treatment of values as inert labels by connecting them to normative reasoning and to the social functionalities needed to integrate value-aware agents into our modern hybrid human-computer societies.

연구 동기 및 목표

• 현재의 AMA가 가치를 수동적인 레이블로만 취급하는 데서 비롯하는 격차를 해결하기 위해.
• 에이전트가 공동으로 규범을 추론하고 인간이 심어준 가치와 규범을 조율할 수 있도록 사회적 차원의 기반을 마련하기 위해.
• 도덕 철학 외에도 도덕적 및 사회심리학적 이론에 기반한 규범적 추론 능력을 에이전트에 부여하기 위해.
• 에이전트가 가치 기반 목표와의 일치 정도에 따라 규범을 평가함으로써 다중 에이전트 시스템 내에서 윤리적인 행동을 보장하기 위해.
• 논쟁 및 협상과 같은 계산 기반 메커니즘을 통해 자율 시스템에서 가치 인식 기반의 조율 기반을 마련하기 위해.

제안 방법

• 가치는 지속적이고 맥락에 따라 달라지는 목표로 형식화되며, 이는 에이전트가 추론과 행동 선택을 유도하는 데 사용된다.
• 규범은 명시적인 문법을 갖춘 지시적 규칙으로 표현되며, 가치 기반 목표와의 일치 정도에 따라 에이전트에 의해 평가된다.
• 에이전트는 분석적 방법 또는 시뮬레이션을 통해 규범적 결과가 가치 기반 목표를 얼마나 잘 충족하는지 평가한다.
• 합의 기반 메커니즘—예를 들어 계산 기반 사회선택, 논증, 협상—을 사용하여 공통된 가치를 반영하는 공동의 규범 선택을 가능하게 한다.
• 에이전트 아키텍처는 도덕적 평가 기반으로 동적으로 규범을 생성, 선택, 위반할 수 있도록 지원한다.
• 시스템은 행동뿐 아니라 언제 규범을 따르거나 어겨야 할지에 대한 결정까지도 가치 인식 기반의 의사결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 가치를 수동적인 레이블이 아닌 추론의 활성 구성 요소로 자율 에이전트에 공식적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 다중 에이전트 환경에서 에이전트들이 인간이 심어준 가치와 함께 규범을 공동으로 조율할 수 있는 방법은 무엇인가?
• RQ3 에이전트가 가치 기반 목표와의 일치 정도에 따라 규범의 도덕적 일치성을 평가할 수 있도록 하는 메커니즘은 무엇인가?
• RQ4 개인의 가치와 집단적 규범을 반영하는 방식으로 규범적 행동을 추론할 수 있는 방법은 무엇인가?
• RQ5 다중 에이전트 사회에서 가치 기반 규범 체계를 달성하기 위해 합의 기술이 수행하는 역할은 무엇인가?

주요 결과

• 제안된 범주를 통해 에이전트는 지속적이고 맥락에 따라 달라지는 목표에 가치를 기반으로 삼아 가치 인식 능력을 확보할 수 있다.
• 에이전트는 공식적 분석 또는 시뮬레이션 기반 결과 예측을 통해 가치 기반 목표와의 일치 정도에 따라 규범을 평가할 수 있다.
• 논증 및 협상과 같은 합의 기반 메커니즘을 통해 공동의 규범 선택이 가능해져, 공통된 가치를 반영하는 규범으로 수렴할 수 있다.
• 이 프레임워크는 규범의 수용 또는 위반 여부를 도덕적 평가 기반으로 결정하는 동적 규범적 추론을 지원한다.
• 이 접근법은 가치를 문법적 레이블로 취급하는 것에서 벗어나, 에이전트 아키텍처 내에서 의미적이고 추론 기반의 구성 요소로 전환하는 데 기여한다.
• 이 모델은 향후 연구에서 에이전트가 타인의 가치와 행동을 윤리적으로 일관된 방식으로 추론할 수 있는 가치 기반 이론적 마음 이론의 기초를 제공한다.