[論文レビュー] Quantitative AI Risk Assessments: Opportunities and Challenges

David Piorkowski, Michael Hind+1 more|arXiv (Cornell University)|Sep 13, 2022

Occupational Health and Safety Research被引用数 7

ひとこと要約

本論文は、訓練データや開発履歴にアクセスできない状況でも、観察可能な入力と出力を用いて、公平性、耐性、正確性などの次元でリスクを評価できる、定量的AIリスク評価フレームワークを提案する。主な貢献は、規制適合性やガバナンスに役立てるための、標準化され、指標に基づいたアプローチを提供することにより、客観的で比較可能かつ実行可能なリスク評価を可能にすることである。

ABSTRACT

Although AI systems are increasingly being leveraged to provide value to organizations, individuals, and society, significant attendant risks have been identified and have manifested. These risks have led to proposed regulations, litigation, and general societal concerns. As with any promising technology, organizations want to benefit from the positive capabilities of AI technology while reducing the risks. The best way to reduce risks is to implement comprehensive AI lifecycle governance where policies and procedures are described and enforced during the design, development, deployment, and monitoring of an AI system. Although support for comprehensive governance is beginning to emerge, organizations often need to identify the risks of deploying an already-built model without knowledge of how it was constructed or access to its original developers. Such an assessment will quantitatively assess the risks of an existing model in a manner analogous to how a home inspector might assess the risks of an already-built home or a physician might assess overall patient health based on a battery of tests. Several AI risks can be quantified using metrics from the technical community. However, there are numerous issues in deciding how these metrics can be leveraged to create a quantitative AI risk assessment. This paper explores these issues, focusing on the opportunities, challenges, and potential impacts of such an approach, and discussing how it might influence AI regulations.

研究の動機と目的

• 訓練データやハイパーパramータ、開発履歴が入手できない状況でも、AIシステムのリスクを客観的かつ測定可能に評価するニーズに対応すること。
• 住宅や自動車の点検に類似した、観察可能な行動に基づく、実用的で標準化されたAIモデルリスク評価手法を開発すること。
• 定性的リスク評価を補完する定量的メトリクスを提供することで、規制適合性および組織的ガバナンスを支援すること。
• 標準化によるモデル間比較と、特定の用途に応じたカスタマイズの両立に課題が生じる点を特定し、解決すること。
• 金融や医療分野における既存のリスク管理プロセスに定量的メトリクスを統合することで、AIリスク評価の広範な導入を促進すること。

提案手法

• 公平性、敵対的攻撃に対する耐性、正確性、データ効率、モデル効率の5つの主要リスク次元を定義する。
• 敵対的テスト、公平性指標（例：デモグラフィックパラティーション）や正確性ベンチマークなどの既存の評価技術を用いて、各リスク次元の測定可能なメトリクスを開発する。
• 個々のメトリクスを統合して一元的なリスクスコアを算出する複合スコアリングシステムを提案し、モデル間比較を可能にする。
• 推論レベルのアクセス（入力を送信し、出力を観察する）のみを要件とすることで、データやモデルへのアクセスを最小限に抑える。
• モジュラーや拡張性に優れた技術的コンponentsを用いて、既存のAIガバナンスプロセスと統合する。
• アクセス制御、データプライバシー、モデル所有権に関する課題に対処し、モデル所有者または監査機関が評価ツールを活用できるようにする。

実験結果

リサーチクエスチョン

• RQ1 訓練データ、ハイパーパramータ、開発履歴にアクセスできないモデルに対して、AIリスクをどのように定量的に評価できるか。
• RQ2 一貫性があり、比較可能で意味のあるリスクスコアを実現するためのメトリクスと集約戦略は何か。
• RQ3 標準化されたメトリクスと、特定の展開環境やリスクプロファイルに基づくカスタマイズの両立は、どのように実現できるか。
• RQ4 特にアクセス、プライバシー、ツールの整備に関する課題を踏まえ、実世界の環境にこのような評価を展開する際の実務的課題は何か。
• RQ5 定量的リスク評価を、既存の規制および組織的ガバナンスフレームワークにどのように意味的に統合できるか。

主な発見

• 公平性、耐性、正確性、データ効率、モデル効率のための定量的メトリクスは、既に存在しており、訓練データにアクセスできない既存のモデルに対しても適用可能である。
• 標準化されたメトリクスに基づく複合リスクスコアにより、異なるAIシステム間で客観的で再現可能かつ比較可能なリスク評価が可能になる。
• 評価フレームワークは、推論レベルのアクセスのみで適用可能であり、第三者監査者や内部チームが本番環境のモデルを評価することが可能になる。
• 標準化によるモデル間比較と、分野特有のリスクプロファイルに基づくカスタマイズの両立には、特に公平性や敵対的耐性の次元で葛藤が生じる。
• モジュラー設計により、既存のガバナンスプロセスへの統合は可能であり、レガシーシステムを置き換えることなく段階的な導入が可能になる。
• 新興のAI認証機関の動向から、AIコンプライアンスおよび信頼フレームワークの一環として、定量的リスク評価の標準化への産業界の関心が高まっていることが示唆される。