[論文レビュー] Reliability, Resilience and Human Factors Engineering for Trustworthy AI Systems

Saurabh Mishra, Anand B. Rao+4 more|arXiv (Cornell University)|Nov 13, 2024

Risk and Safety AnalysisDecision Sciences被引用数 3

ひとこと要約

本論文は、予知保全管理（PHM）を軸として、信頼性工学、レジリエンス工学、人的要因工学を統合したフレームワークを提案する。AIシステムの信頼性を向上させるために、伝統的な工学指標（故障率、MTBFなど）を応用するとともに、人間中心の設計原則を統合し、事前の故障防止と効率的な回復を可能にする。OpenAIの実際のシステム状態データを用いた検証により、AIの安全性と規制適合性を高めるスケーラブルなモデルを提示する。

ABSTRACT

As AI systems become integral to critical operations across industries and services, ensuring their reliability and safety is essential. We offer a framework that integrates established reliability and resilience engineering principles into AI systems. By applying traditional metrics such as failure rate and Mean Time Between Failures (MTBF) along with resilience engineering and human reliability analysis, we propose an integrate framework to manage AI system performance, and prevent or efficiently recover from failures. Our work adapts classical engineering methods to AI systems and outlines a research agenda for future technical studies. We apply our framework to a real-world AI system, using system status data from platforms such as openAI, to demonstrate its practical applicability. This framework aligns with emerging global standards and regulatory frameworks, providing a methodology to enhance the trustworthiness of AI systems. Our aim is to guide policy, regulation, and the development of reliable, safe, and adaptable AI technologies capable of consistent performance in real-world environments.

研究の動機と目的

• 複雑なシステムで伝統的に用いられてきた工学分野を統合し、重要な応用分野における信頼できるAIの増大するニーズに対応する。
• 技術的信頼性と人的信頼性が相互に依存しており、AIシステム設計において一体的に取り扱われる必要があることを認識する。
• 確立された工学的手法を用いて、AIシステムの性能と故障からの回復を体系的に管理するアプローチを開発する。
• 伝統的な工学的実践と新たなAI技術の間のギャップを埋め、政策、規制、リスク管理を支援する。
• AI開発者と規制当局が、AIライフサイクル全体でシステムの安全性とレジリエンスを向上させるための実用的でデータ駆動のフレームワークを提供する。

提案手法

• AIシステムの信頼性とレジリエンスをライフサイクル段階全体で監視・管理するための統合的枠組みとして、予知保全管理（PHM）を採用する。
• AIシステムを5つのサブシステム（データ、モデル、計算インfraストラクチャ、コード／ソフトウェア、人的インタラクション）に分類し、それぞれに特有の故障モードを特定する。
• FMEA（故障モードと影響分析）を含む信頼性工学技術を用いて、AI部品の故障リスクを特定・優先順位付けする。
• 人的要因工学をライフサイクル全体に統合し、前段階（設計）と後段階（対応）において人間中心のAI信頼性モデル（HC-AIRM）を活用する。
• 集合論とシグマ代数に基づく確率論的リスクアセスメントを含む、定量的指標（故障率、MTBFなど）を用いてシステムのパフォーマンスを評価する。
• OpenAIの公開済みシステム状態データを用いて、フレームワークの実用性を検証し、運用中のAIプラットフォームへの実際の適用可能性を示す。

(a) High-Level Overview of AI Failure Modes and Types

実験結果

リサーチクエスチョン

• RQ1 伝統的な信頼性およびレジリエンス工学の原則を、AIシステムに特有の故障モードに適合させる方法は何か？
• RQ2 人的要因はAIシステムの故障防止および回復に果たす役割は何か？ そして、それらをAI設計に体系的に統合するにはどうすればよいか？
• RQ3 MTBF や故障率といった既存の工学的指標を、AIシステムに意味的に適用できる範囲はどの程度か？
• RQ4 人間中心のPHMフレームワークは、現実の運用環境におけるAIシステムの安全性とレジリエンスをどのように向上させるか？
• RQ5 信頼性、レジリエンス、人的要因工学の統合は、AI政策、規制、リスク管理にどのような影響を及えるか？

主な発見

• 信頼性、レジリエンス、人的要因工学の統合的統合が、AIシステムの予測可能性と信頼性を顕著に向上させる。
• 航空宇宙および原子力工学で一般的に用いられる故障率やMTBFといった指標は、AIシステムにおいても性能とリスクを定量化するために意味的に適用可能である。
• 人的要因は周辺的ではなく、故障防止および回復の両側面で中心的役割を果たす。HC-AIRMモデルは、それらの重要性を実証している。
• OpenAIのシステム状態データの実世界分析により、フレームワークの実用的適用性が確認され、AIシステムの健康状態とパフォーマンスの監視・管理に有効であることが示された。
• フレームワークは、継続的モニタリングと保険適合指標を備えた、ポートフォリオベースのAI投資を可能にし、リスクを意識した意思決定を支援する。
• 透かしインジェクションや、設計段階からフェイルセーフを考慮した（例：イケア風の部品設計）などの予防的措置により、悪用のリスクが低減され、特に攻撃的および意図しない故障に対するシステムのレジリエンスが向上する。

(b) Hypothetical 3D Matrix of Sectors (Tasks), Impacts, and Failure Modes