[論文レビュー] Never trust, always verify : a roadmap for Trustworthy AI?

Lionel Nganyewou Tidjon, Foutse Khomh|arXiv (Cornell University)|Jun 23, 2022

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

本論文は、AIシステムにおける信頼性の課題に応えるために、継続的検証、倫理的運用（EthicsOps）、およびAIライフサイクル全体にわたる透明性、公平性、セキュリティなどの12のコアな特性を含む、信頼性とゼロトラストモデルを提案する。このフレームワークは、ポリシーの強制と自動化された検証ツールを統合し、継続的な信頼性を確保する。主な貢献として、信頼性のあるAIのための構造的モデルと、実装のための実用的ロードマップが挙げられる。

ABSTRACT

Artificial Intelligence (AI) is becoming the corner stone of many systems used in our daily lives such as autonomous vehicles, healthcare systems, and unmanned aircraft systems. Machine Learning is a field of AI that enables systems to learn from data and make decisions on new data based on models to achieve a given goal. The stochastic nature of AI models makes verification and validation tasks challenging. Moreover, there are intrinsic biaises in AI models such as reproductibility bias, selection bias (e.g., races, genders, color), and reporting bias (i.e., results that do not reflect the reality). Increasingly, there is also a particular attention to the ethical, legal, and societal impacts of AI. AI systems are difficult to audit and certify because of their black-box nature. They also appear to be vulnerable to threats; AI systems can misbehave when untrusted data are given, making them insecure and unsafe. Governments, national and international organizations have proposed several principles to overcome these challenges but their applications in practice are limited and there are different interpretations in the principles that can bias implementations. In this paper, we examine trust in the context of AI-based systems to understand what it means for an AI system to be trustworthy and identify actions that need to be undertaken to ensure that AI systems are trustworthy. To achieve this goal, we first review existing approaches proposed for ensuring the trustworthiness of AI systems, in order to identify potential conceptual gaps in understanding what trustworthy AI is. Then, we suggest a trust (resp. zero-trust) model for AI and suggest a set of properties that should be satisfied to ensure the trustworthiness of AI systems.

研究の動機と目的

• AIベースのシステムにおける信頼の概念を分析し、AIが信頼できるとはどのような意味かを明確化すること。
• 特に倫理的原則の解釈と適用における、現在の信頼性のあるAIアプローチにおける概念的ギャップを特定すること。
• AIライフサイクル全体にわたってエンドツーエンドの信頼性を保証する包括的な信頼（およびゼロトラスト）モデルを提案すること。
• AIシステムが信頼できると見なされるために満たすべき12の理想的な特性（例：透明性、公平性、持続可能性）のセットを定義すること。
• EthicsOpsとポリシーに基づく検証メカニズムを統合し、AIの信頼性を継続的に監視・検証可能にする。

提案手法

• 人間（信頼者）、AIシステム（信頼される者）、TAI原則、ポリシー強制ポイント（PEP）、ポリシー意思決定ポイント（PDP）、EthicsOpsを有するAIの信頼性とゼロトラストモデルを構築する。
• EthicsOpsを統合し、AIシステムの行動を継続的に監視し、リアルタイムでの検証を可能にすることで、展開中も信頼性が維持されることを保証する。
• ポリシー・エンジンを用い、信頼性のチェックに基づいて、公平性、プライバシーなどのTAI原則を適用し、動的にデータおよび予測へのアクセスを承認する。
• VeriDeep、DeepZ、RefineZono、RefinePolyなどの形式的検証ツールを活用し、モデルの挙動と敵対的攻撃に対する耐性を検証する。
• 100件のグローバル組織からのレポートを手作業で分析し、信頼性のあるAI原則を抽出・分類する。キーワード抽出と重複制御を用いて正確性を確保する。
• データ、モデル、展開段階を含むAIパイプラインの各段階に検証レイヤーを設け、継続的な信頼状態を維持する。

実験結果

リサーチクエスチョン

• RQ1 現在の信頼性のあるAIに関する理解における概念的ギャップ、特に倫理的原則の解釈と実装におけるものとは何か？
• RQ2 ゼロトラストモデルをAIシステムにどのように適応させれば、継続的検証を実現し、信頼できないAI意思決定への依存を減らせるか？
• RQ3 多様な応用分野にわたるAIシステムの信頼性を保証するために、どのようなコアな特性が不可欠か？
• RQ4 EthicsOpsは、特に本番環境において、AIライフサイクル全体にわたって信頼性を維持するためにどのように運用可能か？
• RQ5 ポリシー強制と自動化された検証ツールは、動的かつ敵対的状況下でのAIシステムの信頼性をどのように維持するか？

主な発見

• 透明性は、グローバル組織の100件のレポートにおいて最も頻出する原則であり、信頼性のあるAIにおける中心的役割を示している。
• 本研究では、12の理想的な信頼性のある特性を同定した：透明性、プライバシー、公平性、セキュリティ、安全性、責任、説明責任、説明可能性、幸福、人権、包摂性、持続可能性。
• 提案されたゼロトラストAI（ZTA）モデルは、ポリシーに基づくアクセス制御とEthicsOpsによるリアルタイム監視を通じて、継続的検証を可能にする。
• VeriDeep、DeepZ、RefineZonoなどの検証ツールは、モデル挙動の検証および敵対的脆弱性の検出に有効である。
• ポリシー・エンジンと倫理的ガイドラインの統合により、進化するシステム状態と入力に基づいた動的かつ文脈に即した信頼性意思決定が可能になる。
• 100件のレポートの手作業分析を2回繰り返した結果、キーワード抽出が一貫しており、重複が最小限に抑えられ、原則の分類の信頼性が向上した。