[論文レビュー] A Brief Overview of AI Governance for Responsible Machine Learning Systems

Navdeep Gill, Abhishek Mathur+1 more|arXiv (Cornell University)|Nov 21, 2022

Big Data and Business Intelligence被引用数 6

ひとこと要約

本論文は、組織における機械学習システムの責任ある、信頼性があり、倫理的な導入を保証するための構造的フレームワークとしてのAIガバナンスを提唱する。公平性、透明性、モデル監視、人的監視といった原則を統合することで、バイアス、コンセプトドリフト、モデル劣化などのリスクを軽減し、一貫性があり、監査可能で、高いインパクトを持つAIの導入を可能にし、信頼性とコンプライアンスを向上させる。

ABSTRACT

Organizations of all sizes, across all industries and domains are leveraging artificial intelligence (AI) technologies to solve some of their biggest challenges around operations, customer experience, and much more. However, due to the probabilistic nature of AI, the risks associated with it are far greater than traditional technologies. Research has shown that these risks can range anywhere from regulatory, compliance, reputational, and user trust, to financial and even societal risks. Depending on the nature and size of the organization, AI technologies can pose a significant risk, if not used in a responsible way. This position paper seeks to present a brief introduction to AI governance, which is a framework designed to oversee the responsible use of AI with the goal of preventing and mitigating risks. Having such a framework will not only manage risks but also gain maximum value out of AI projects and develop consistency for organization-wide adoption of AI.

研究の動機と目的

• 企業内での規制のないAI導入に伴うリスクの増加、特にバイアス、ドリフト、責任の欠如に対処すること。
• 失敗した住宅価格予測システムの事例を通じて、ガバナンスの不備がもたらす結果を浮き彫りにすること。
• AI開発を倫理的、法的、業務的目標と整合させる包括的なAIガバナンスフレームワークを確立すること。
• 標準化されたプロセスとツールを通じて、組織の整合性、透明性、信頼性を高め、AIシステムへの信頼を促進すること。
• モデル検証、監視、インcidnet対応計画による予防的リスク管理を推進すること。

提案手法

• AIガバナンスを、MLライフサイクル全体にわたりセキュリティ、公平性、解釈可能性、透明性、耐性を統合する包括的フレームワークとして提唱する。
• 第三者による評価を含む、客観性と信頼性を確保するための構造化されたモデル検証プロセスを導入する。
• 自動アラートシステムを用いたコンセプトドリフトおよび性能劣化の継続的監視を強調する。
• 自動予測への過剰依存を低減するため、ハイリスク意思決定において「人間を中核に置く」メカニズムを提唱する。
• 部署を越えたチームの整合性を保ち、トレーサビリティを確保するため、標準化されたツールと通信プロトコルを推奨する。
• 障害発生時の対応手順を規定する。識別、文書化、人的レビュー、トラフィックの再ルーティングを含む。

Figure 1: (Left) “Rate of AI adoption skyrocketed during COVID-19” by KPMG [ 26 ] . (Right) IBM Global AI Adoption Index 2022 [ 25 ] . We refer the reader to the surveys [ 26 , 25 ] for more details.

実験結果

リサーチクエスチョン

• RQ1 技術的パフォーマンス指標を超えて、組織がAI導入におけるリスクを体系的に管理する方法は何か？
• RQ2 事例研究において、住宅価格の過大評価を引き起こした主なガバナンスの失敗要因は何か。また、それらはどのように回避可能だったか？
• RQ3 AIガバナンスは、組織の整合性、透明性、信頼性の向上にどの程度寄与するか？
• RQ4 モデル監視および検証プロセスをどのように制度化することで、生産環境におけるドリフトやバイアスを防げるか？
• RQ5 ハイリスクAIアプリケーションにおけるリスク低減に、人的監視が果たす役割は何か？

主な発見

• 事例研究は、人間による検証を排除した結果、モデル予測が制御不能になり、住宅価格が過大評価されたことを示している。
• コンセプトドリフトのためのモデル監視が欠如していたため、市場状況の変化に伴い、継続的な過大評価が生じた。これは、リアルタイム検出の必要性を浮き彫りにしている。
• 独立した第三者によるレビューが欠如したモデル検証の不備により、重要な仮定が特定されず、欠陥のあるモデルが導入された。
• インcidnet対応計画の不在により、モデル劣化の検出が遅れ、財務的および評判的損害が拡大した。
• 監視、検証、人的監視を統合したAIガバナンスの導入により、この失敗の発生を防げた、あるいは著しくその影響を軽減できた可能性がある。
• AIガバナンスを採用した組織は、より良い整合性、責任の所在、信頼性を実現し、より安全でスケーラブルなAI導入を可能にしている。

Figure 2: Illustration of the AI Governance application towards responsible AI in companies.