[論文レビュー] AI Failures: A Review of Underlying Issues

Debarag Narayan Banerjee, Sasanka Sekhar Chanda|arXiv (Cornell University)|Jul 18, 2020

Law, Economics, and Judicial Systems参考文献 2被引用数 7

ひとこと要約

本論文は、プライバシーのトレードオフや敵対的攻撃といった広範なセーフティ問題よりも、概念的、設計的、導入上の欠陥に焦点を当て、AIシステムの障害の根本原因を調査する。著者は、欠落誤りと委任誤り、入力の不適切な解釈、ハードウェアの制限、AIが道徳的判断を下せないという本質的欠陥を主な障害要因として特定し、これらの問題を軽減するための的を射た推奨事項を提示する。

ABSTRACT

Instances of Artificial Intelligence (AI) systems failing to deliver consistent, satisfactory performance are legion. We investigate why AI failures occur. We address only a narrow subset of the broader field of AI Safety. We focus on AI failures on account of flaws in conceptualization, design and deployment. Other AI Safety issues like trade-offs between privacy and security or convenience, bad actors hacking into AI systems to create mayhem or bad actors deploying AI for purposes harmful to humanity and are out of scope of our discussion. We find that AI systems fail on account of omission and commission errors in the design of the AI system, as well as upon failure to develop an appropriate interpretation of input information. Moreover, even when there is no significant flaw in the AI software, an AI system may fail because the hardware is incapable of robust performance across environments. Finally an AI system is quite likely to fail in situations where, in effect, it is called upon to deliver moral judgments -- a capability AI does not possess. We observe certain trade-offs in measures to mitigate a subset of AI failures and provide some recommendations.

研究の動機と目的

• 高水準のセーフティ懸念を越えて、AIシステム障害の背後にある要因を分析すること。
• AIシステムの概念的、設計的、導入上の欠陥に特に焦点を当てる。
• 欠落誤り／委任誤り、入力の不適切な解釈、ハードウェア制限といった障害モードを特定すること。
• AIが道徳的判断を真正に下せないという制限を検討すること、これは重要な障害要因である。
• 設計および導入の改善を通じて、AI障害の一部を軽減するための実行可能な推奨事項を提供すること。

提案手法

• 概念的、設計的、導入レベルの問題に重点を置いた、文書化されたAI障害の体系的レビュー。
• 障害タイプを、意図された動作が欠落する「欠落誤り」、誤った動作を示す「委任誤り」、入力の誤解釈に分類する。
• 環境ごとの一貫性のないAIパフォーマンスの原因としてのハードウェア制約の分析。
• AIが道徳的推論を真正に行えないことの検証、たとえそれを促されたとしても。
• 緩和戦略におけるトレードオフの分析、例えば、信頼性の向上と計算コストの増加の間のトレードオフ。
• 障害の分類とトレードオフ分析に基づく推奨事項の開発。

実験結果

リサーチクエスチョン

• RQ1 実世界の導入におけるAIシステム障害の主な原因は何か？
• RQ2 AI設計における欠落誤りと委任誤りは、システム障害にどのように寄与するか？
• RQ3 ハードウェア制限は、どのように一貫性のないAIパフォーマンスを引き起こすか？
• RQ4 AIが道徳的判断を下せないという点が、なぜ重要な障害要因となるのか？
• RQ5 AI障害の緩和戦略を実装する際のトレードオフとは何か？

主な発見

• AI障害は、アルゴリズムの複雑さだけではなく、概念的・設計的欠陥、特に欠落誤りと委任誤りに起因することが多い。
• 入力データの解釈が不十分であることは、ソフトウェア論理が健全であっても、システムの不具合の主な要因となる。
• ハードウェア制限は、多様な運用環境においても強固なパフォーマンスを維持できない原因となることが多い。
• AIシステムは、道徳的判断を要求された際に、真正の倫理的推論能力に欠けるため、深刻な障害を起こす。
• 緩和戦略にはトレードオフが伴い、信頼性の向上に伴い計算コストが増加するが、これを慎重に評価する必要がある。
• 本論文は、AIシステムの設計および導入を改善することで障害リスクを低減するための実行可能な推奨事項で結論づける。