[論文レビュー] An architecture for ethical robots

Dieter Vanderelst, Alan Winfield|arXiv (Cornell University)|Sep 9, 2016

Social Robot Interaction and HRI参考文献 5被引用数 5

ひとこと要約

本稿では、結果予測とルールベース評価を用いて、事前に定義された倫理的ルールに基づいて行動を評価・拒否できるようにする、エチカルレイヤー制御アーキテクチャを提案する。人間型ロボットにアズモフの法則に従わせる形で実装された本システムは、単一の人間に対する状況では危害を回避することに成功したが、二名の人が同時に危険を避ける状況では、遅く動く人物を優先してしまうという意図しない優先順位付けが生じ、倫理的AIシステムにおける検証の必要性を浮き彫りにした。

ABSTRACT

Robots are becoming ever more autonomous. This expanding ability to take unsupervised decisions renders it imperative that mechanisms are in place to guarantee the safety of behaviours executed by the robot. Moreover, smart autonomous robots should be more than safe; they should also be explicitly ethical -- able to both choose and justify actions that prevent harm. Indeed, as the cognitive, perceptual and motor capabilities of robots expand, they will be expected to have an improved capacity for making moral judgements. We present a control architecture that supplements existing robot controllers. This so-called Ethical Layer ensures robots behave according to a predetermined set of ethical rules by predicting the outcomes of possible actions and evaluating the predicted outcomes against those rules. To validate the proposed architecture, we implement it on a humanoid robot so that it behaves according to Asimov's laws of robotics. In a series of four experiments, using a second humanoid robot as a proxy for the human, we demonstrate that the proposed Ethical Layer enables the robot to prevent the human from coming to harm.

研究の動機と目的

• 自律的なロボットが実行前に行動を評価することで、倫理的に適切な行動を取れる制御アーキテクチャを開発すること。
• 自律性と人間との相互作用が高まる中で、ロボットが明示的な道徳的判断を行う必要が高まっているのに対応すること。
• 実世界のロボット行動に、アズモフの法則のような倫理的ルールを強制するシステムを実装し、実験的にテストすること。
• 倫理的意思決定システムにおけるルールの相互作用から生じる予期しない結果を調査すること。
• 既存のロボットコントローラーに検証可能なかつての倫理的制御レイヤーを統合する可能性を示すこと。

提案手法

• エチカルレイヤーは、ロボットコントローラーとアクチュエータの間に並列に統合された監視モジュールとして実装され、既存の制御システムと併用して動作する。
• アーキテクチャは4つのモジュールから構成される：代替行動の生成モジュール、行動結果の予測モジュール、予測結果と倫理的ルールの照合評価モジュール、行動選択のための解釈モジュール。
• 本システムは、エージェントの軌道をシミュレートすることで将来の状態を予測し、危険への接近度と予測結果に基づいて各行動の危害/利益スコア（q_i,t）を算出する。
• 倫理的ルールは予測結果に対する制約としてエンコードされ、危害を引き起こす行動はルール違反として拒否される。
• 本アーキテクチャは結果主義の枠組みを採用しており、行動の望ましさは予測されたネットアウトカムに基づいて導出される。
• 検証は、エチカルレイヤーを独立したテスト可能なコンponentとして扱うことで支援され、ルールの衝突などの予期しない行動の検出が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、実行前に倫理的ルールに照らして行動を評価することで、人間に対する危害を自ら防ぐことができるか？
• RQ2 複数エージェントの状況下で倫理的ルールはどのように作用するのか？単純なルールセットから予期しない行動が生じる可能性はあるか？
• RQ3 モジュラーな倫理的制御レイヤーは、既存のロボット制御アーキテクチャに効果的に統合可能か？
• RQ4 動的かつ現実世界の環境において、ルールベースの倫理的意思決定にどのような限界があるか？
• RQ5 エチカルレイヤーの行動はどの程度検証可能で、有害な結果を防ぐために有効か？

主な発見

• エチカルレイヤーは4回の実験的試行において、単一の人間が危険な場所に到達するのを効果的に防いだ。
• 二名の人が同時に危険を避ける状況では、ロボットは最も高い予測された危害スコア（q_i,t）を持つ、遅く動く人物を優先し、危険に最も近い人物ではなく、優先した。
• この行動—遅く動く人を最初に救う—は研究者によって想定されておらず、直感的な倫理的期待に反する。
• この衝突は、エチカルレイヤーが単一の行動に対して予測された結果スコア（q_i,t）を最大化しようとした結果生じ、最適でない優先順位付けを引き起こした。
• 結果として、単純な倫理的ルールであっても、複雑な状況下で相互作用することで、予期しない、あるいは非倫理的な結果を生じうることが確認された。
• 本研究は、このような出現的行動をデプロイ前に検出できるよう、倫理的AIシステムに対して形式的検証の必要性を強調している。