[論文レビュー] Data Readiness for AI: A 360-Degree Survey

Kaveen Hiniduma, Suren Byna+1 more|arXiv (Cornell University)|Apr 8, 2024

Data Quality and ManagementDecision Sciences被引用数 3

ひとこと要約

本稿は、120件以上の学術的および産業界の資料を分析することで、構造化済みおよび非構造化データをカバーする、AI用のデータ準備度（DRAI）メトリクスの包括的分類を提案する。データ品質、公平性、プライバシー、およびFAIR原則に関する既存のメトリクスを統合し、一元的なフレームワークを提供することで、体系的なデータ準備によるAIモデルの信頼性向上を図る。

ABSTRACT

Artificial Intelligence (AI) applications critically depend on data. Poor quality data produces inaccurate and ineffective AI models that may lead to incorrect or unsafe use. Evaluation of data readiness is a crucial step in improving the quality and appropriateness of data usage for AI. R&D efforts have been spent on improving data quality. However, standardized metrics for evaluating data readiness for use in AI training are still evolving. In this study, we perform a comprehensive survey of metrics used to verify data readiness for AI training. This survey examines more than 140 papers published by ACM Digital Library, IEEE Xplore, journals such as Nature, Springer, and Science Direct, and online articles published by prominent AI experts. This survey aims to propose a taxonomy of data readiness for AI (DRAI) metrics for structured and unstructured datasets. We anticipate that this taxonomy will lead to new standards for DRAI metrics that will be used for enhancing the quality, accuracy, and fairness of AI training and inference.

研究の動機と目的

• AIの学習および推論におけるデータ準備度を評価するための標準化されたメトリクスの欠如に対処すること。
• 広範な文献ベースから、構造化および非構造化データセットにおけるデータ準備度の次元を特定および分類すること。
• 倫理的AI開発のための公平性、プライバシー、バイアス関連メトリクスをデータ品質評価に統合すること。
• 一貫した評価とベンチマークを支援する統合的DRAI（AI用データ準備度）分類を提言すること。
• データタイプ、応用分野、AIライフサイクル段階に基づいて、適切なメトリクスを選択するための実務家および研究者へのガイダンスを提供すること。

提案手法

• ACM Digital Library、IEEE Xplore、信頼できる学術誌、および専門家によるWeb記事からなる120件以上の資料を対象とした体系的サーベイを実施。
• データ準備度の次元を、品質、アクセス性、相互運用性、および倫理的次元を統合した360度フレームワークにマッピング。
• メトリクスを、完全性、一貫性、正確性、タイムリネス、公平性、プライバシー、再利用可能性（FAIR）のカテゴリに分類。
• IBMのデータ品質ツールキットやThe Materials Data FacilityのようなFAIR準拠のデータインfraストラクチャなどの既存ツールを分析。
• データ準備度のスコアリングメカニズムおよびしきい値定義を評価し、解釈可能性と文脈依存性に重点を置く。
• 多様なAIアプリケーションにわたり、動的でライフサイクルベースの評価を支援する包括的かつ進化型のフレームワークを提言。

実験結果

リサーチクエスチョン

• RQ1 構造化および非構造化データの両方において、効果的なAI学習および推論に不可欠な核心的データ準備度次元は何か？
• RQ2 既存のデータ品質メトリクス（例：完全性、正確性）は、AI固有の要件および倫理的配慮とどのように整合するか？
• RQ3 公平性、バイアス、プライバシー関連メトリクスは、現在のデータ準備度評価フレームワークにどの程度統合されているか？
• RQ4 データ準備度の普遍的なしきい値を定義する際の主な課題は何か。文脈に応じてどのように解決できるか？
• RQ5 ツールや分野をまたいでDRAIメトリクスの意味のある比較を可能にするために、ベンチマークデータセットおよび評価プロトコルをどのように開発できるか？

主な発見

• サーベイにより120件を超える関連資料が同定され、AIおよびデータサイエンスの文献における、断片的ではあるが成長著しいデータ準備度メトリクスのエコシステムが明らかになった。
• 完全性、一貫性、正確性、タイムリネスといった核心的データ品質次元は依然として基盤をなすが、公平性およびプライバシーの統合がなければ不十分である。
• FAIR原則（Findable, Accessible, Interoperable, Reusable）は、特に科学的および研究分野において、AI対応データに不可欠であるとますます認識されている。
• データ準備度の普遍的なしきい値は存在しない。許容可能な水準は文脈に強く依存し、応用分野やデータタイプによって異なる。
• DRAIメトリクスの解釈可能性および可視化は、ステークホルダーの採用にとって不可欠であるが、現行のツールではまだ十分に発展していない。
• 本研究は、データ準備段階を過ぎて継続的に監視する必要があるため、動的でライフサイクルベースの評価の必要性を強調している。