[論文レビュー] Predictable Artificial Intelligence

Lexin Zhou, Pablo A. Moreno-Casares+13 more|arXiv (Cornell University)|Oct 9, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿は、AIシステムのデプロイ前における、パフォーマンス、安全性、アライメントなどの主要な妥当性指標を予測することに注力する、予測可能な人工知能（Predictable AI）という新しい研究分野を紹介する。予測可能性をコアな原則として形式化し、性能の最大化よりも予測可能性を優先することで、AIエコシステムにおける信頼性、制御性、安全性が向上すると主張する。また、多様な構成における信頼性のある予測可能なAIシステムを構築するためのフレームワーク、予測子、およびトレードオフを提示する。

ABSTRACT

We introduce the fundamental ideas and challenges of Predictable AI, a nascent research area that explores the ways in which we can anticipate key validity indicators (e.g., performance, safety) of present and future AI ecosystems. We argue that achieving predictability is crucial for fostering trust, liability, control, alignment and safety of AI ecosystems, and thus should be prioritised over performance. We formally characterise predictability, explore its most relevant components, illustrate what can be predicted, describe alternative candidates for predictors, as well as the trade-offs between maximising validity and predictability. To illustrate these concepts, we bring an array of illustrative examples covering diverse ecosystem configurations. Predictable AI is related to other areas of technical and non-technical AI research, but have distinctive questions, hypotheses, techniques and challenges. This paper aims to elucidate them, calls for identifying paths towards a landscape of predictably valid AI systems and outlines the potential impact of this emergent field.

研究の動機と目的

• AI開発における予測可能性を基盤的原則として確立し、信頼性と安全性を確保するため、性能の最大化よりもそれを優先すること。
• AIシステムにおける予測可能性を形式的に定義し、そのコアな構成要素と妥当性指標を特定すること。
• 多様なエコシステム構成におけるAIシステムの妥当性を最大化することと、その予測可能性を確保することの間のトレードオフを調査すること。
• 解釈可能性やアライメントといった関連分野と区別し、予測可能AIが有する独自の研究課題とメソドロジカルな課題を強調すること。
• 予測可能妥当なAIシステムの地図を描出し、今後の研究への道筋を示すこと。

提案手法

• AIシステムの主要な妥当性指標（例：パフォーマンス、安全性）を予測できる能力として、予測可能性を形式的に特徴づけること。
• 将来の行動に関する予測を支援する候補予測子（例：モデルアーキテクチャ、トレーニングデータ、システム監視メカニズム）を同定すること。
• システム妥当性の最大化と予測可能性の確保の間のトレードオフを評価するフレームワークを開発すること。
• 実用的な例を多様なAIエコシステム構成にわたって提示し、実際の場面で予測可能性をどのように達成できるかを示すこと。
• ガバナンス、監視、フィードバックループを含む技術的・非技術的アプローチを統合し、予測可能性を高めること。
• 解釈可能性、レジliュラティ、アライメントといった関連分野と区別するための明確な仮説と研究課題を提示すること。

実験結果

リサーチクエスチョン

• RQ1 AIシステムにおける予測可能性を形式的に定義・測定する方法は何か。特にパフォーマンスと安全性の予測という観点から。
• RQ2 複雑なAIエコシステムにおける主要な妥当性指標の予測に最も効果的な予測子は何か。
• RQ3 AIシステムの妥当性を最大化することと、その予測可能性を確保することの間には、どのようなトレードオフが存在するか。
• RQ4 予測可能AIは、解釈可能性、レジリエンス、アライメントといった既存のAI研究分野とどのように異なるか。
• RQ5 多様な展開環境において、予測可能妥当なAIシステムを構築するために必要な、体系的かつアーキテクチャ設計上の意思決定は何か。

主な発見

• 予測可能性は、長期的な信頼性と安全性を確保するため、性能の最大化よりも優先される、独立的かつ不可欠なAIの次元である。
• 予測可能性を形式化することで、AIシステムの将来の行動、リスク、信頼性を体系的に評価できるようになる。
• トレーニングデータの質、モデルアーキテクチャ、ランタイム監視といった予測子は、システム妥当性の予測を顕著に向上させることができる。
• 妥当性と予測可能性の間には本質的なトレードオフが存在し、それを意図的な設計とガバナンスによって管理する必要がある。
• 予測可能AIは、アライメントや解釈可能性とは明確に異なる独自の研究分野を提示し、それらとは異なった課題、技術、仮説を有する。
• 実例により、自律システムや意思決定支援ツールを含む多様なAIエコシステムにおいて、予測可能性が実現可能であることが示された。