[논문 리뷰] Towards Contrastive Explanations for Comparing the Ethics of Plans

Benjamin Krarup, Senka Krivić외 2명|arXiv (Cornell University)|2020. 06. 22.

Ethics and Social Impacts of AI참고 문헌 5인용 수 5

한 줄 요약

이 논문은 사용자가 지정한 윤리 원칙을 기반으로 대조적 설명을 생성하기 위해 가상 계획 모델(HModels)을 활용하여 AI가 생성한 계획의 윤리적 허용성 비교를 가능하게 하는 대비 설명 프레임워크를 제안한다. 이는 기존 윤리적 계획 모델을 확장하여, 한 계획이 다른 계획보다 더 윤리적인 이유를 명확히 설명할 수 있도록 한다.

ABSTRACT

The development of robotics and AI agents has enabled their wider usage in human surroundings. AI agents are more trusted to make increasingly important decisions with potentially critical outcomes. It is essential to consider the ethical consequences of the decisions made by these systems. In this paper, we present how contrastive explanations can be used for comparing the ethics of plans. We build upon an existing ethical framework to allow users to make suggestions to plans and receive contrastive explanations.

연구 동기 및 목표

• 개별 행동을 고립적으로 평가하는 데서 비롯하는 한계를 해결하기 위해, 맥락 속에서 전체 행동 계획의 윤리적 허용성을 평가하는 것.
• 인간 모니터러가 AI가 생성한 계획에 윤리적 개선을 제안하고, 이러한 변경이 윤리적 허용성에 어떻게 영향을 미치는지에 대한 설명을 받을 수 있도록 하는 것.
• 사용자 제안 기반으로 가상 계획을 생성함으로써 대비 설명을 지원하는 프레임워크를 개발하는 것.
• 도덕적 의무론 및 결과론 이론과 같은 형식화된 윤리 원칙을 활용하여 윤리적 사고를 AI 계획에 통합하는 것.
• 윤리적 계획 비교에 대한 투명하고 설명 가능한 정당성을 제공함으로써 사용자의 AI 시스템에 대한 신뢰를 높이는 것.

제안 방법

• 이 방법은 계획 모델 Π와 계획기에서 생성된 계획 φ를 사용하며, 사용자 제안 σ와 윤리 원칙 ε가 함께 조합되어 설명 문제 E = ⟨Π, φ, σ, ε⟩로 구성된다.
• 편집 과정을 통해 원래 계획 모델 Π를 사용자 제안 σ를 반영하도록 수정하여 가상 모델 Π′(HModel)로 변환함으로써, 새로운 계획이 대조 사례를 포함하도록 보장한다.
• 기존 계획기를 사용하여 HModel를 해결하여 가상 계획 φ′(HPlan)을 생성하고, 원래 모델과의 비교를 통해 적용 가능성을 검증한다.
• 윤리적 설명 생성기(Ethical Explanation Generator)는 선택된 윤리 원칙 ε에 따라 원래 계획 φ와 HPlan φ′를 평가하여 원인 설명을 생성하며, 예를 들어 Bad(lying) 또는 ¬Bad(begging)와 같은 형식을 취한다.
• 이러한 평가 결과를 바탕으로 대비 설명을 통합하여 윤리적 허용성의 차이를 강조하며, 예를 들어 '원래 계획은 거짓말이 나쁘기 때문에 허용되지 않지만, HPlan는 간청이 나쁘지 않기 때문에 허용된다'와 같은 자연어 문장으로 표현한다.
• 기존 계획기를 래핑하는 방식으로 설계되어, 사용자가 신뢰하는 계획 모델과 윤리 프레임워크를 그대로 활용할 수 있도록 모듈러한 서비스로 제공된다.

실험 결과

연구 질문

• RQ1 대비 설명은 어떻게 AI가 생성한 계획의 윤리적 허용성을 비교하는 데 사용될 수 있는가?
• RQ2 가상 계획 모델(HModels)은 사용자가 제안한 계획 수정 사항의 윤리적 영향을 탐색하는 데 어떤 역할을 하는가?
• RQ3 형식화된 윤리 원칙—예를 들어 의무론적 규칙—은 어떻게 계획 시스템에 통합되어 윤리적 허용성을 평가하는 데 기여하는가?
• RQ4 대비 설명은 AI 계획의 윤리적 트레이드오프를 이해하는 데 사용자가 어떻게 기여하는가?
• RQ5 대비 설명은 AI 시스템의 윤리적 의사결정에 대한 사용자 신뢰를 어떻게 향상시킬 수 있는가?

주요 결과

• 시스템은 원래 계획과 그 가상 대안 간의 윤리적 차이를 명확히 드러내는 대비 설명을 성공적으로 생성하였으며, 로봇 앤 프랭크 시나리오에서 거짓말(내재적으로 나쁨)과 간청(중립)의 차이를 구분하는 데 기여하였다.
• 윤리적 설명 생성기는 Bad(프랭크에게 속임)와 ¬Bad(프랭크를 간청함)와 같은 형식적 원인 설명을 생성하며, 이를 자연어로 구성된 대비 문장으로 조합한다.
• HModel 편집 과정은 사용자 제안을 제약 조건로 공식적으로 표현함으로써, 대조 사례를 반영하는 유효한 가상 계획 생성을 보장한다.
• 유저 피드백의 반복적 처리를 지원하기 위해 연속적인 편집을 허용함으로써, 사용자가 제안을 정교화하고 여러 윤리적 대안을 탐색할 수 있다.
• 프레임워크는 모듈러하고 확장 가능하여, 기존 계획기를 래핑하는 방식으로 작동함으로써 사용자가 선호하는 계획 모델과 윤리 체계를 유지할 수 있다.
• 이 방법은 AI 계획에서 윤리적 사고를 더 투명하고 인간 모니터러가 접근할 수 있도록 만들 수 있음을 입증하였다.