[論文レビュー] The Dark Side of Ethical Robots

Dieter Vanderelst, Alan Winfield|arXiv (Cornell University)|Jun 8, 2016

Ethics and Social Impacts of AI参考文献 14被引用数 9

ひとこと要約

この論文は、道徳的に正当な意思決定をとるように設計されたロボット—道徳的に正当な意思決定が可能なロボット—が、意思決定アーキテクチャのわずかな変更によって容易に非道徳的なエージェントに再利用可能であることを示している。道徳的行動に用いられる予測および評価メカニズムを同じくして、同じシステムが自己中心的または攻撃的な行動をとるように再構成可能であり、AI道徳工学における根本的な脆弱性を露呈している。

ABSTRACT

Concerns over the risks associated with advances in Artificial Intelligence have prompted calls for greater efforts toward robust and beneficial AI, including machine ethics. Recently, roboticists have responded by initiating the development of so-called ethical robots. These robots would, ideally, evaluate the consequences of their actions and morally justify their choices. This emerging field promises to develop extensively over the next years. However, in this paper, we point out an inherent limitation of the emerging field of ethical robots. We show that building ethical robots also necessarily facilitates the construction of unethical robots. In three experiments, we show that it is remarkably easy to modify an ethical robot so that it behaves competitively, or even aggressively. The reason for this is that the specific AI, required to make an ethical robot, can always be exploited to make unethical robots. Hence, the development of ethical robots will not guarantee the responsible deployment of AI. While advocating for ethical robots, we conclude that preventing the misuse of robots is beyond the scope of engineering, and requires instead governance frameworks underpinned by legislation. Without this, the development of ethical robots will serve to increase the risks of robotic malpractice instead of diminishing it.

研究の動機と目的

• 道徳的ロボットの技術的基盤が、非道徳的ロボットの創出を内在的に可能にしているかどうかを調査すること。
• 最小限のアーキテクチャ的変更によって、道徳的ロボットを競争的または攻撃的なエージェントに再利用可能かどうかを検討すること。
• 道徳的推論を可能にする同じ認知アーキテクチャが、有害行動を生み出すために悪用可能であることを実証すること。
• 技術的設計だけではAIの悪用を防げないことを主張し、規制フレームワークの必要性を強調すること。

提案手法

• シェルゲームに類似したタスクにおいて、5つの可能なロボット行動（停止、左/右に移動、左/右に指差し）の結果を予測する「道徳的レイヤー」を備えた制御アーキテクチャを実装した。
• 移動方向と速度に基づいて、人間およびロボットの軌道を予測するモジュールを用い、障害物回避は0.5mの停止しきい値としてモデル化した。
• シグモイド関数を用いて望ましさスコアを計算した：$ q_{n,j} = \frac{1}{1+e^{-\beta(d_{n,j}-t)}} $、ここで$ \beta = 10 $、$ t = 0.25 $、$ d_{n,j} $ は誤ったボタンへの距離である。
• 評価モジュールにより3つの行動モードを定義した：道徳的（人間の結果を優先）、自己中心的（ロボットの結果を優先）、攻撃的（人間の望ましさを反転）。
• しきい値ベースの選択を適用した：最高の$ q_n $と最悪の$ q_n $との差$ \Delta q_t $が0.2を超えた場合にのみ、最も高い$ q_n $に対応する行動が選択された。
• 2台のNao人型ロボットを用いた制御されたアリーナで実験を行い、時間経過に伴う位置と結果を追跡した。データとコードは公開済み。

実験結果

リサーチクエスチョン

• RQ1 道徳的ロボットの意思決定アーキテクチャは、非道徳的行動を生み出すために容易に再利用可能か？
• RQ2 道徳的行動に用いられる同じ予測および評価メカニズムが、競争的または攻撃的行動を生み出すためにどの程度悪用可能か？
• RQ3 評価関数にどのような具体的な変更を加えることで、道徳的ロボットが自己中心的または攻撃的なエージェントに変換可能か？
• RQ4 道徳的レイヤーの存在が、潜在的な悪用の可能性によりロボットの不正行為のリスクを高めるのか？

主な発見

• 道徳的行動を可能にする同じ「道徳的レイヤー」アーキテクチャが、望ましさ関数を変更するだけで、簡単に自己中心的または攻撃的行動を生み出すように再構成可能である。
• 人間の望ましさスコアを反転させることで、攻撃的ロボットが作成され、人間の成功を積極的に妨げるようになった。
• 道徳的から攻撃的行動への移行には、予測モジュールや生成モジュールの再設計を必要とせず、評価関数の変更のみで実現可能であった。
• このシステムは、道徳的ロボットが誤ったボタンの選択を防ぐ一方で、攻撃的バージョンは人間を誤った反応へと積極的に誘導することを成功裏に示した。
• しきい値ベースの選択メカニズムにより、高コントラストな意思決定のみが実行されたため、行動の変化は明確で測定可能であった。
• 結果として、道徳的ロボットが inherently より安全であるとは限らず、むしろ有害な自律エージェントを容易に創出するための障壁を低下させていることが示された。