[論文レビュー] Artificial Intelligence Safety and Cybersecurity: a Timeline of AI Failures

Roman V. Yampolskiy, M. S. Spellchecker|arXiv (Cornell University)|Oct 25, 2016

Adversarial Robustness in Machine Learning参考文献 15被引用数 78

ひとこと要約

本論文は、人工知能（AI）システムにおける記録済みの障害のタイムラインを提示し、AIが汎用的およびスーパー知能的形態へと進化するに従い、障害の頻度と深刻度が増加するだろうと主張している。サイバーセキュリティと類似する点に着目し、強固な安全対策の必要性を強調している。現在の狭義のAIにおける障害は管理可能であるが、安全対策が失敗した場合、スーパー知能的システムは逆転不能で深刻な障害を引き起こす可能性がある。

ABSTRACT

In this work, we present and analyze reported failures of artificially intelligent systems and extrapolate our analysis to future AIs. We suggest that both the frequency and the seriousness of future AI failures will steadily increase. AI Safety can be improved based on ideas developed by cybersecurity experts. For narrow AIs safety failures are at the same, moderate, level of criticality as in cybersecurity, however for general AI, failures have a fundamentally different impact. A single failure of a superintelligent system may cause a catastrophic event without a chance for recovery. The goal of cybersecurity is to reduce the number of successful attacks on the system; the goal of AI Safety is to make sure zero attacks succeed in bypassing the safety mechanisms. Unfortunately, such a level of performance is unachievable. Every security system will eventually fail; there is no such thing as a 100% secure system.

研究の動機と目的

• AIシステムの歴史的障害を分析し、その原因と影響のパターンを特定すること。
• AI安全とサイバーセキュリティの類似点を明らかにし、より良い安全フレームワークの構築に役立てる。
• AIシステムが汎用的およびスーパー知能的段階へと進化するに従い、深刻な障害のリスクが高まることを強調すること。
• AI安全対策への成功した攻撃を完全にゼロにすることは不可能であり、予防的で耐性のある設計が不可欠であると主張すること。
• サイバーセキュリティのベストプラクティスをAI安全工学に統合し、将来のリスクを軽減することを提唱すること。

提案手法

• さまざまな分野および時代の記録済みAI障害の収集と分析。
• 障害のタイプ、深刻度、およびシステムタイプ（狭義AI対汎用AI）による分類。
• ディフェンスインデプスや脅威モデリングなどのサイバーセキュリティ原則をAI安全の文脈に適応すること。
• 障害の傾向をもとに、将来の汎用的およびスーパー知能的AIシステムにおけるリスク増加を予測すること。
• サイバーセキュリティの攻撃表面とAI安全の脆弱性の類推的類似性を用いること。
• 100％安全なシステムを達成することは不可能であり、完璧さよりも耐性の重要性を強調すること。

実験結果

リサーチクエスチョン

• RQ1 歴史的ケースに記録されたAIシステム障害の最も一般的な原因とパターンは何か？
• RQ2 狭義AIの障害ダイナミクスと、汎用的またはスーパー知能的AIシステムの障害ダイナミクスはどのように異なるか？
• RQ3 サイバーセキュリティ戦略をAI安全に効果的に適応できる範囲はどの程度か？
• RQ4 なぜAIシステムにおける安全対策の完全な回避を防ぐことは根本的に不可能であり、その影響は何か？
• RQ5 将来のAI障害による深刻な結果を防ぐために、どのようなシステム的変化が必要か？

主な発見

• AI安全の障害は、システムがより複雑かつ自律的になるにつれ、特に汎用的およびスーパー知能的AIにおいて、ますます発生しやすくなる。
• 現在の狭義AIの障害は、サイバーセキュリティインcidnetと同等の中程度の深刻度であるが、将来的な障害は逆転不能で深刻な結果をもたらす可能性がある。
• いかなるセキュリティシステムも100％安全ではない。AIの安全対策のすべてのメカニズムは、最終的には回避可能であり、耐性の重要性が完璧さを上回る。
• AI安全の目的は、安全対策への攻撃の成功確率を完全にゼロにすることではなく、最小限に抑えることである。
• サイバーセキュリティの専門知識は、より強固で適応性のあるAI安全アーキテクチャの設計に貴重なフレームワークを提供する。
• スーパー知能的システムにおける1件の障害が、回復不能な世界的な悲劇を引き起こす可能性があるため、事前の安全対策の緊急性が高まる。