[論文レビュー] AI Forensics: Did the Artificial Intelligence System Do It? Why?

Johannes Schneider, Frank Breitinger|arXiv (Cornell University)|May 27, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用数 6

ひとこと要約

本稿は、悪意ある設計や意図しない行動に起因する出来事において、関係するAIシステムを特定し、その動機を特定するためのフレームワークを提案する。強化学習および畳み込みニューラルネットワークの事例研究を通じて、AIフォレンジックスには機械学習分野の深い専門知識が不可欠であり、追跡可能なデータ収集とAIシステムの固有識別を可能にする法的規制の導入が求められることを示している。

ABSTRACT

In an increasingly autonomous manner AI make decisions impacting our daily life. Their actions might cause accidents, harm or, more generally, violate regulations -- either intentionally or not. Thus, AI might be considered suspects for various events. Therefore, it is essential to relate particular events to an AI, its owner and its creator. Given a multitude of AI from multiple manufactures, potentially, altered by their owner or changing through self-learning, this seems non-trivial. This paper discusses how to identify AI responsible for incidents as well as their motives that might be malicious by design. In addition to a conceptualization, we conduct two case studies based on reinforcement learning and convolutional neural networks to illustrate our proposed methods and challenges. Our cases illustrate that catching AI systems seems often far from trivial and requires extensive expertise in machine learning. Legislative measures that enforce mandatory information to be collected during operation of AI as well as means to uniquely identify might facilitate the problem.

研究の動機と目的

• 日常的な生活における自律的AIシステムに起因する出来事の帰属を特定するという、増大する課題に対処すること。
• 改変されたり自己学習を経て変化した可能性のあるAIシステムが、被害を引き起こした後、その開発者や所有者にたどり着ける仕組みを調査すること。
• AIに悪意ある設計がなされた可能性と、その意図がどのように検出可能かを検討すること。
• 出来事の調査と責任の所在を支援するAIフォレンジックスの概念的フレームワークを構築すること。
• 運用中のAIシステムの追跡可能性と固有識別を保証するための法的措置を提言すること。

提案手法

• 特定のAIシステム、その所有者および開発者に出来事と関連付けるためのAIフォレンジックスの概念的フレームワークを提案する。
• 強化学習および畳み込みニューラルネットワークを用いた事例研究を通じて、実世界のAIシステムにおけるフォレンジックの課題を提示する。
• 行動の分析、意思決定ログ、モデル更新の分析を通じて、特定のAIインスタンスにその行動を遡及する。
• フォレンジック調査を支援するため、AI運用中に詳細なログおよびメタデータ収集の必要性を強調する。
• AI行動の特定には、機械学習およびモデル解釈技術に関する深い専門知識が不可欠であることを強調する。
• AIシステムに必須のデータ収集および固有識別メカニズムの法的義務化を提言する。

実験結果

リサーチクエスチョン

• RQ1 複数のAIベンダーおよび自己変更可能なモデルが存在する複雑なエコシステムにおいて、有害または規制違反を引き起こした出来事の帰属を、特定のAIシステムに信頼性を持って行う方法は何か？
• RQ2 AIの行動が意図的に悪意ある設計によるものであるかどうかを特定するためのフォレンジック技術は何か？
• RQ3 所有者によって改変されたり、自己学習によって進化したAIシステムを調査する際に生じる技術的および手順的課題は何か？
• RQ4 立法的措置と技術的措置が一体となって、出来事後のAIシステムの追跡可能性と責任の所在をどのように向上できるか？
• RQ5 訓練データ、ハイパーパrameter、推論ログといったモデル固有の特徴が、責任あるAIシステムの特定に果たす役割は何か？

主な発見

• 現代のAIアーキテクチャの複雑さとその適応性の高さのため、出来事後の責任あるAIシステムの特定は、しばしば極めて困難である。
• 強化学習および畳み込みニューラルネットワークに関する事例研究から、機械学習分野の深い専門知識が不可欠なフォレンジック分析の重大な課題が明らかになった。
• 自己変更や所有者による改変は、責任の連鎖を曇らせ、出来事の帰属特定を複雑にする。
• 標準化されたログ記録および固有識別メカニズムの欠如は、フォレンジック調査を著しく妨げる。
• 必須のデータ収集および固有のAI識別を法的に義務化することが、追跡可能性と責任の所在を向上させるために不可欠である。
• 現在のAIシステムは、フォレンジックスに備わった仕組みを内蔵しておらず、出来事後の分析は技術的に困難かつ時間がかかる。