[논문 리뷰] Towards Moral Autonomous Systems

Vicky Charisi, Louise A. Dennis외 7명|arXiv (Cornell University)|2017. 03. 14.

Ethics and Social Impacts of AI참고 문헌 48인용 수 47

한 줄 요약

이 논문은 자율 시스템에 윤리적 행동을 구현하는 데 있어 기술적 과제를 다루며, 검증 가능성, 투명성, 책임성 및 악성 사용 방지를 중심으로 다룹니다. 윤리적 AI는 철학자들과 엔지니어들이 상호 협력하여 윤리적 행동이 검증 가능하고 설명 가능하며 악성 사용에 저항력 있도록 해야 한다고 제안합니다.

ABSTRACT

Both the ethics of autonomous systems and the problems of their technical implementation have by now been studied in some detail. Less attention has been given to the areas in which these two separate concerns meet. This paper, written by both philosophers and engineers of autonomous systems, addresses a number of issues in machine ethics that are located at precisely the intersection between ethics and engineering. We first discuss the main challenges which, in our view, machine ethics posses to moral philosophy. We them consider different approaches towards the conceptual design of autonomous systems and their implications on the ethics implementation in such systems. Then we examine problematic areas regarding the specification and verification of ethical behavior in autonomous systems, particularly with a view towards the requirements of future legislation. We discuss transparency and accountability issues that will be crucial for any future wide deployment of autonomous systems in society. Finally we consider the, often overlooked, possibility of intentional misuse of AI systems and the possible dangers arising out of deliberately unethical design, implementation, and use of autonomous robots.

연구 동기 및 목표

• 윤리 철학과 공학 간 격차를 메우기 위해 자율 시스템에 윤리적 행동을 어떻게 적용할 수 있는지 다룹니다.
• 미래의 법적 및 사회적 요구 사항을 고려할 때 윤리적 행동을 규정하고 검증하는 데 직면한 과제를 검토합니다.
• 윤리적 AI 시스템에서 이해관계자 신뢰를 확보하기 위해 투명성과 책임성이 얼마나 중요한지 강조합니다.
• 의도적인 오용 위험, 특히 악의적인 윤리적 설계 및 배포를 포함한 AI 시스템의 위험을 조사합니다.
• 윤리적 AI 설계에서의 문화적 및 사회적 편향, 특히 AI 윤리 설계에서 '문화 제식권'의 위험을 다룹니다.

제안 방법

• 윤리적 추론을 코딩하는 데 적합한지 분석하기 위해 두 가지 주요 AI 적용 유형—기호 기반 AI와 소프트 AI—를 검토합니다.
• 인간의 윤리가 내재된 도덕적 사고에서 비롯되는 것과 달리, AI의 윤리적 행동은 설계를 통해 외부에서 동기를 부여받아야 한다고 제안합니다.
• 시스템 운영 중 윤리적 행동이 지정된 범위 내에 유지되도록 보장하기 위해 검증 기법의 중요성을 강조합니다.
• 디자이너, 사용자, 규제 기관 등 이해관계자의 시각을 윤리적 설계 과정에 통합하여 사회적 가치와의 일치를 확보합니다.
• 윤리적 AI 시스템의 장애 모드를 연구하고, 윤리적 검증이 고장 후 분석 및 책임성 확보에 어떻게 기여할 수 있는지 탐구합니다.
• 해커, 종말주의 세력, 윤리에 반하는 연구자 등 악성 사용자 유형을 식별하여 오용 위험을 분석합니다.

실험 결과

연구 질문

• RQ1 미래의 법적 및 사회적 기준을 충족하기 위해 자율 시스템에서 윤리적 행동을 형식적으로 규정하고 검증하는 방법은 무엇인가요?
• RQ2 기호 기반 AI와 소프트 AI 접근 방식 간 윤리적 추론을 구현하는 데 있어 핵심적인 차이는 무엇인가요?
• RQ3 윤리적 AI 시스템에 투명성과 책임성을 어떻게 공학적으로 구현하여 이해관계자 간의 신뢰를 유지할 수 있나요?
• RQ4 윤리적으로 설계된 AI 시스템의 의도적 오용 위험은 무엇이며, 이를 어떻게 완화할 수 있나요?
• RQ5 AI 윤리 설계에서의 문화적 편향은 어떻게 한 사회의 가치를 다른 사회에 강제할 위험을 내포하고 있으며, 그 의미는 무엇입니까?

주요 결과

• 윤리적 AI 시스템은 인간이 내재된 도덕적 사고 능력을 지니지 못하므로, 설계를 통해 외부에서 동기를 부여받아야 합니다.
• 윤리적 행동의 검증은 필수적이지만, 특히 모호하고 현실적인 맥락에서 운영되는 시스템에서는 매우 복잡합니다.
• 디자이너, 사용자, 규제 기관 간의 신뢰를 유지하기 위해 투명성과 책임성이 핵심적입니다.
• 범죄자, 극단주의자, 윤리에 반하는 연구자들에 의한 AI 시스템의 의도적 오용은 심각하고 종종 간과되는 위협입니다.
• AI 윤리 설계에서의 문화 제식권은 지배적인 사회의 가치를 다양한 글로벌 인구에 강제하여 윤리적 포괄성을 해칠 위험이 있습니다.
• 윤리 규칙을 따르더라도 명시적이거나 예측 가능한 바가 아닌 예측 불가능한 행동을 보일 수 있는 윤리적 AI 시스템이 존재할 수 있습니다.