[論文レビュー] Founding The Domain of AI Forensics

Ibrahim Baggili, Vahid Behzadan|arXiv (Cornell University)|Dec 11, 2019

Digital and Cyber Forensics参考文献 29被引用数 5

ひとこと要約

この論文は、AIセーフティの下でAIフォレンジックスを新しい学問分野として確立し、構造的な証拠収集と分析を通じてAIシステムの障害を調査する形式的な枠組みを提案する。モデルパフォーマンス、マルウェア、バレリスティックスフォレンジックスなどのサブフィールドの分類を導入し、AIの説明不能性や反フォレンジック技術といった、主な課題を特定する。

ABSTRACT

With the widespread integration of AI in everyday and critical technologies, it seems inevitable to witness increasing instances of failure in AI systems. In such cases, there arises a need for technical investigations that produce legally acceptable and scientifically indisputable findings and conclusions on the causes of such failures. Inspired by the domain of cyber forensics, this paper introduces the need for the establishment of AI Forensics as a new discipline under AI safety. Furthermore, we propose a taxonomy of the subfields under this discipline, and present a discussion on the foundational challenges that lay ahead of this new research area.

研究の動機と目的

• 臨床的および日常的技術に導入されたAIシステムの障害に関する科学的に厳密かつ法的に受理可能な調査の増加するニーズに対応すること。
• サイバー・フォレンジックスを模範として、AIセーフティの別分野としてAIフォレンジックスを形式化し、AI障害の信頼性の高い原因究明を保証すること。
• モデルパフォーマンス、マルウェア、識別、バレリスティックスフォレンジックスを含む、AIフォレンジックのサブフィールドの分類を提案し、調査アプローチを体系化すること。
• AIの説明不能性、反フォレンジック技術、AIとサイバー・フォレンジックスのコミュニティの間の断絶といった、基盤的課題を特定すること。
• 科学的証拠としてのダーベルト基準に準拠した枠組みを確立し、法的文脈での受理可能性を保証すること。

提案手法

• AIフォレンジックスを、AIシステムの障害に関連するデジタル証拠の科学的かつ法的抽出、収集、分析、報告という形式的定義を提示する。
• デジタル・フォレンジックスのAAA（収集、認証、分析）モデルをAIフォレンジック調査のコア運用フレームワークとして適応する。
• AIフォレンジックのサブフィールドの分類を導入：モデルパフォーマンス・フォレンジックス（例：活性化分析）、モデルマルウェア・フォレンジックス（例：バックドア検出）、モデル識別／抽出・フォレンジックス、およびモデルバレリスティックス・フォレンジックス（例：モデル指紋化）。
• 科学的妥当性と法的受理可能性を保証するため、ダーベルト基準（試験、誤差率、出版、承認）を適用する。
• 悪意あるまたは疑わしいモデル行動を再現・分析するために、制御されたシミュレーション環境（例：サンドボックス）の利用を提言する。
• 説明不能なAIシステムに対処するための抽象化技術（例：精神病理学的抽象化）を提案し、複雑さにかかわらずフォレンジック分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 AIシステムの障害を調査するための形式的で、科学的に厳密かつ法的に防衛可能な枠組みをどのように確立できるか？
• RQ2 フォレンジック調査におけるAI障害に関連する主要なサブフィールドと証拠の種類は何か？
• RQ3 AIシステムのフォレンジック手法が、ダーベルトプロセスなどの基準に従って法廷で受理可能であるようにするにはどうすればよいか？
• RQ4 説明不能性や反フォレンジック技術を含む、AIフォレンジックスの発展を妨げる主な技術的・システム的課題は何か？
• RQ5 AIとサイバー・フォレンジックスのコミュニティが連携することで、現在の断絶を是正し、この新しい分野を前進させることは可能か？

主な発見

• AIフォレンジックスは、サイバー・フォレンジックスを模範として、AIセーフティの下で新しい形式的学問分野として提案され、AI障害の科学的に信頼性があり法的に防衛可能な調査を可能にする。
• モデルパフォーマンス、マルウェア、識別／抽出、バレリスティックスフォレンジックスの4つのコアサブフィールドの分類が導入され、AIシステムのフォレンジック調査を体系化する。
• デジタル・フォレンジックスのAAA（収集、認証、分析）フレームワークが、AIフォレンジックスの基盤的運用モデルとして適応される。
• 科学的妥当性と法的受理可能性を保証するため、ダーベルト基準（試験、誤差率、出版、承認）がAIのフォレンジック手法に適用される。
• 主な課題には、複雑なAIシステムの説明不能性、反フォレンジック技術の潜在的台頭、AIセーフティとサイバー・フォレンジックスコミュニティの間の現在の断絶が含まれる。
• 本論文は、AIセーフティと説明可能性に関する関心が高まる一方で、AI障害のフォレンジック調査を目的とした形式的分野が存在しないという重要な研究ギャップを特定し、基盤的研究と横断的連携の必要性を示唆する。