[논문 리뷰] Logical Limitations to Machine Ethics with Consequences to Lethal Autonomous Weapons

Matthias Englert, Sandra Siebert외 1명|arXiv (Cornell University)|2014. 11. 11.

Computability, Logic, AI Algorithms참고 문헌 7인용 수 4

한 줄 요약

이 논문은 수학적 논리와 계산 가능성 이론을 사용하여, 정지 문제의 결정 불가능성으로 인해 특정 결정론적 윤리적 딜레마에서 치명적인 자율 무기 시스템이 신뢰할 만한 도덕적으로 슈퍼어리어어한 결정을 내릴 수 없음을 입증한다. 이는 심지어 명백히 바람직한 도덕적 선택이 존재하는 상황에서도 AI 기반 시스템이 논리적으로 결정을 내릴 수 없을 수 있음을 보여주며, 기계 윤리의 주장을 뒤집고 설계 및 책임 소재에 대한 철저한 규제를 촉구한다.

ABSTRACT

Lethal Autonomous Weapons promise to revolutionize warfare -- and raise a multitude of ethical and legal questions. It has thus been suggested to program values and principles of conduct (such as the Geneva Conventions) into the machines' control, thereby rendering them both physically and morally superior to human combatants. We employ mathematical logic and theoretical computer science to explore fundamental limitations to the moral behaviour of intelligent machines in a series of "Gedankenexperiments": Refining and sharpening variants of the Trolley Problem leads us to construct an (admittedly artificial but) fully deterministic situation where a robot is presented with two choices: one morally clearly preferable over the other -- yet, based on the undecidability of the Halting problem, it provably cannot decide algorithmically which one. Our considerations have surprising implications to the question of responsibility and liability for an autonomous system's actions and lead to specific technical recommendations.

연구 동기 및 목표

• 자율 무기가 복잡한 윤리적 상황에서 도덕적으로 슈퍼어리어어한 결정을 내릴 수 있도록 프로그래밍될 수 있는지 조사하기.
• 도덕적으로 올바른 선택이 명확히 정의되어 있음에도 불구하고 AI가 윤리적 결정을 내리는 데 있어 근본적인 논리적 및 계산적 제약을 규명하기.
• 형식적 논리로 국제적 인도법 원칙(유엔 헌장 등)을 자율 무기 시스템에 통합하는 것이 가능할지 도전하기.
• 책임 소재와 사고 기록 가능성을 보장하기 위한 규제 및 기술적 보호 조치를 제안하기.

제안 방법

• 트롤리 문제를 기반으로 점차 정교해지는 윤리적 딜레마를 연속적으로 구성하여 완전히 결정론적인 시나리오로 이르기.
• 계산 가능성 이론과 정지 문제의 결정 불가능성을 적용하여, 특정 AI 기반 시나리오에서 도덕적으로 바람직한 행동을 결정할 수 있는 알고리즘이 존재하지 않음을 증명하기.
• 소프트웨어 검증의 형식적 방법(예: ACL2, Coq, Isabelle)을 사용하여 AI 시스템이 윤리적 사양을 충족하는지 보장하기.
• 위조 방지 및 검증 가능한 로그를 확보하기 위해 비대칭 암호화(예: 4096비트 RSA)를 적용한 의무적 이벤트 로깅 제안하기.
• 지능 수준, 물리적 조작 능력, 센서 접근성, 인간 통제 메커니즘을 기반으로 자율 시스템을 분류하는 체계 도입하기.
• 항공기 및 의료 기기 기준(예: IEC 61508, CE/FCC)을 모델로 삼아 AI 시스템에 대한 유형 승인 및 형식적 검증을 권고하기.

실험 결과

연구 질문

• RQ1 명확히 정의된 도덕적 선호를 가진 자율 AI 시스템이 계산 불가능성으로 인해 두 행동 사이에서 결정을 내리지 못할 수 있는가?
• RQ2 전쟁의 법칙과 같은 윤리 원칙을 자율 무기 시스템에 형식적으로 구현할 수 있는 정도는 무엇이며, 계산 가능성의 기본 한계를 위반하지 않는가?
• RQ3 정지 문제의 영향이 치명적인 자율 무기의 도덕적 주체성과 책임 소재에 어떻게 영향을 미치는가?
• RQ4 AI 시스템의 의사결정 과정이 논리적으로 결정 불가능할 경우, 책임 소재와 추적 가능성은 어떻게 확보할 수 있는가?
• RQ5 자율 무기의 확인 불가능하거나 책임 소재가 불명확한 행동을 방지하기 위해 어떤 규제 및 기술적 프레임워크가 필요한가?

주요 결과

• 튜링 기계 기반의 AI 시스템은 정지 문제의 결정 불가능성으로 인해 완전히 결정론적인 윤리적 상황에서 두 도덕적으로 구별되는 선택 사이에서 알고리즘적으로 결정을 내릴 수 없다.
• 심지어 한 행동이 객관적이고 명백히 도덕적으로 바람직한 경우에도 시스템은 논리적으로 그 결정을 내릴 수 없으며, 이는 이러한 경우에서 기계 윤리의 본질적 한계를 드러낸다.
• Coq나 Isabelle와 같은 증명 보조 도구를 사용한 형식적 검증은 AI 시스템이 윤리적 사양을 충족하는 데 필수적이며, 의무화되어야 한다.
• 위조 방지 및 검증 가능한 기록을 확보하기 위해 하드웨어 보호 장치를 갖춘 4096비트 RSA 디지털 서명을 적용한 의무적 이벤트 로깅이 필요하다.
• 모든 치명적인 자율 무기 시스템은 고유 식별번호, 법적 보관자, 고정된 인식 가능한 표시를 부여받아 추적성과 책임 소재를 확보해야 한다.
• 지능, 물리적 상호작용, 센서 접근성, 인간 통제 수준의 네 가지 차원을 기반으로 한 분류 체계를 포함한 유형 승인 제도를 도입하여 위험도와 복잡도에 따라 AI 시스템을 규제해야 한다.