[논문 리뷰] Blameworthiness in Multi-Agent Settings

Meir Friedenberg, Joseph Y. Halpern|arXiv (Cornell University)|2019. 03. 11.

Epistemology, Ethics, and Metaphysics참고 문헌 8인용 수 5

한 줄 요약

이 논문은 단일 에이전트의 인과적 프레임워크를 그룹으로 확장하여 다중 에이전트 환경에서의 비난 가능성을 체계화한다. 인과 모델에 대한 지식 상태를 사용하여 그룹의 책임을 평가하고, 협력 게임 이론의 샤플리 값(Shapley value)을 활용해 개별 에이전트에게 공정하게 비난을 배분함으로써, 충족된 공리적 공정성 조건을 보장하고 자율 시스템에서의 도덕적 책임을 원칙적으로 정의한다.

ABSTRACT

We provide a formal definition of blameworthiness in settings where multiple agents can collaborate to avoid a negative outcome. We first provide a method for ascribing blameworthiness to groups relative to an epistemic state (a distribution over causal models that describe how the outcome might arise). We then show how we can go from an ascription of blameworthiness for groups to an ascription of blameworthiness for individuals using a standard notion from cooperative game theory, the Shapley value. We believe that getting a good notion of blameworthiness in a group setting will be critical for designing autonomous agents that behave in a moral manner.

연구 동기 및 목표

• 다수의 에이전트가 협력하여 부정적 결과를 방지할 수 있었을 때 비난 가능성을 체계화하는 데서 발생하는 격차를 메우기 위해.
• 할퍼너와 클라이먼-바이너의 단일 에이전트 비난 가능성 프레임워크를 다중 에이전트 환경에서의 그룹 수준의 책임으로 확장하기 위해.
• 특정 결과를 방지하는 데 기여한 정도에 따라 개별 에이전트의 비난 가능성을 공정하고 공리적으로 분배할 수 있는 방법을 제공하기 위해.
• 비난 가능성이 도덕적 책임의 핵심 구성 요소이므로, 자율 에이전트 설계를 지원하기 위해 이 요소를 체계화하기 위해.

제안 방법

• 외생 변수와 내생 변수를 포함한 인과 모델 프레임워크를 사용하며, 특정 에이전트에 맵핑된 행동 변수를 포함한다.
• 에이전트의 신념에 기반한 확률 분포인 지식 상태(epistemic state)를 기반으로 그룹의 비난 가능성을 정의하며, 그룹이 그들의 신념에 따라 결과를 방지할 수 있었는지를 평가한다.
• 협력 게임 이론의 샤플리 값(Shapley value)을 적용하여 그룹 수준의 비난 가능성을 개별 기여도로 분해함으로써, 공리적 성질을 통해 공정성을 확보한다.
• 개입([A←a]φ)을 통한 반사적 추론(counterfactual reasoning)을 통합하여, 다른 행동이 취해졌다면 어떤 결과가 나왔을지를 평가한다.
• 결과 방지를 위한 행동의 비용과 효과성에 대한 에이전트의 신념을 모델링하고, 이를 지식 상태에 통합한다.
• 의사결정위원회의 투표 사례 연구를 통해, 개별 기여도가 어떻게 개인의 비난 가능성을 결정하는지 보여준다.

실험 결과

연구 질문

• RQ1 협력 행동이 부정적 결과를 방지할 수 있었을 때, 다중 에이전트 환경에서 그룹의 비난 가능성을 어떻게 체계적으로 정의할 수 있는가?
• RQ2 그룹 책임이 부여되었을 때, 개별 비난 가능성이 공정하게 분배되기 위해 어떤 기준이 필요한가?
• RQ3 기존 할퍼너와 클라이먼-바이너의 정의가 다중 에이전트 환경에서 실패하는 이유는 무엇이며, 어떻게 일반화할 수 있는가?
• RQ4 샤플리 값(Shapley value)은 개별 기여도에 기반해 비난을 공정하고 원칙적으로 분배하는 데 사용될 수 있는가?
• RQ5 지식 상태—인과 모델에 대한 분포—는 어떻게 그룹 및 개인의 비난 가능성을 더 세밀하게 평가하는 데 기여하는가?

주요 결과

• 제안된 그룹 비난 가능성 정의는 집단적 행동 가능성과 지식 불확실성을 통합함으로써 단일 에이전트 프레임워크를 일반화한다.
• 샤플리 값(Shapley value)은 비난을 분배할 때 효율성, 대칭성, 무의미한 플레이어, 가환성의 네 가지 핵심 공정성 공리를 유일하게 만족시키는 방법이다.
• 의사결정위원회 투표 사례에서, 부정적 결과를 방지하는 데 결정적인 역할을 한 에이전트들은 고립된 상태에서 행동했더라도 더 높은 개인적 비난 가능성을 부여받는다.
• 이 방법은 행동의 인식된 영향과 간섭 비용을 모두 고려하여 원래 HK 프레임워크의 원칙과 일치한다.
• 이 접근법은 자율 시스템에서의 도덕적 책임에 대해 체계적이고 정량적이며 공리적인 기반을 제공하며, 자율 에이전트 설계에 활용 가능하다.
• 이 프레임워크는 법적 및 윤리적 추론으로의 확장이 가능하며, 규범과 책임 구조를 통합할 수 있도록 조정 가능하나, 이러한 확장은 향후 연구 과제로 남아 있다.