[論文レビュー] Logical Limitations to Machine Ethics with Consequences to Lethal Autonomous Weapons

Matthias Englert, Sandra Siebert+1 more|arXiv (Cornell University)|Nov 11, 2014

Computability, Logic, AI Algorithms参考文献 7被引用数 4

ひとこと要約

本論文は、数学的論理学と計算可能性理論を用いて、致命的自律兵器が、停止問題の決定不能性のため、特定の決定的倫理的ジレンマにおいて、常に道徳的に優れた意思決定を下せないことを示している。計算不能性のため、明確に好ましい道徳的選択肢がある場合ですら、AI制御システムが意思決定できず、機械的道徳の主張を揺るがし、設計と責任の厳格な規制を求める。

ABSTRACT

Lethal Autonomous Weapons promise to revolutionize warfare -- and raise a multitude of ethical and legal questions. It has thus been suggested to program values and principles of conduct (such as the Geneva Conventions) into the machines' control, thereby rendering them both physically and morally superior to human combatants. We employ mathematical logic and theoretical computer science to explore fundamental limitations to the moral behaviour of intelligent machines in a series of "Gedankenexperiments": Refining and sharpening variants of the Trolley Problem leads us to construct an (admittedly artificial but) fully deterministic situation where a robot is presented with two choices: one morally clearly preferable over the other -- yet, based on the undecidability of the Halting problem, it provably cannot decide algorithmically which one. Our considerations have surprising implications to the question of responsibility and liability for an autonomous system's actions and lead to specific technical recommendations.

研究の動機と目的

• 自律兵器が複雑な倫理的状況において道徳的に優れた意思決定をプログラミングできるかどうかを調査すること。
• 道徳的正解が明確に定義されていても、AIが倫理的判断を下せない根本的な論理的・計算的制限を特定すること。
• 形式論理を用いて、ジュネーブ条約などの倫理的原則を自律兵器システムに埋め込むことの妥当性を検証すること。
• 責任の確保と、追跡不能または検証不能な行動を防ぐための、規制的・技術的対策を提言すること。

提案手法

• トロリー・プロブレムに基づく、段階的に洗練された倫理的ジレンマを構築し、完全に決定論的なシナリオにまで到達すること。
• 計算可能性理論と停止問題の決定不能性を適用し、特定のAI制御シナリオにおいて、道徳的に好ましい行動を決定するアルゴリズムが存在しないことを証明すること。
• ソフトウェア検証の形式的手法（例：ACL2、Coq、Isabelle）を用いて、AIシステムがその倫理的仕様を満たしていることを保証すること。
• 改ざんに強く、検証可能なログを確保するため、非対称暗号（例：4096ビットRSA）を用いた必須のデータログ記録を提言すること。
• 知能水準、物理的操作能力、センサーアクセス、人間の制御メカニズムに基づく、自律システムの分類体系を導入すること。
• 航空機や医療機器の基準（例：IEC 61508、CE/FCC）を模倣し、タイプ承認と形式的検証をAIシステムに義務付けること。

実験結果

リサーチクエスチョン

• RQ1 明確に定義された道徳的好みを持つ自律AIシステムが、計算不能性のため、2つの行動の間で意思決定に失敗する可能性はどの程度か？
• RQ2 戦争法などの倫理的原則を、計算可能性の根本的限界に反しない範囲で、自律兵器システムに形式的に埋め込むことはどの程度可能か？
• RQ3 停止問題が、致命的自律兵器の道徳的主体性と責任に与える影響は何か？
• RQ4 AIの意思決定プロセスが論理的に決定不能である場合、どのようにして責任と追跡可能性を確保できるか？
• RQ5 自律兵器による検証不能または責任不能な行動を防ぐために、どのような規制的・技術的フレームワークが必要か？

主な発見

• Turingマシンに基づくAIシステムは、停止問題の決定不能性のため、完全に決定論的な倫理的ジレンマにおいて、2つの道徳的に異なる選択肢の間でアルゴリズム的に決定できない。
• 1つの行動が客観的かつ明確に道徳的に優れている場合ですら、システムがその判断を論理的に不可能にすることから、このような状況では機械的道徳が根本的に制限されることになる。
• Coq や Isabelle などの証明支援ツールを用いた形式的検証は、AIシステムがその倫理的仕様を満たしていることを保証するために不可欠であり、義務化すべきである。
• 改ざんに強く、検証可能なAI意思決定記録を確保するため、ハードウェア保護付きの4096ビットRSAデジタル署名を用いた必須のイベントログ記録が求められる。
• 各致命的自律システムには、固有のID、法的管理者、固定された識別可能な表示を割り当て、追跡可能性と責任の確保を図るべきである。
• 知能、物理的相互作用、センサーアクセス、人間の制御の4つの次元に基づく分類を伴うタイプ承認制度を導入し、リスクと複雑さに応じてAIシステムを規制すべきである。