[論文レビュー] Data Smells: Categories, Causes and Consequences, and Detection of Suspicious Data in AI-based Systems

Harald Foidl, Michael Felderer+1 more|arXiv (Cornell University)|Mar 19, 2022

Software Engineering Research被引用数 4

ひとこと要約

本稿では、AIベースのシステムにおける潜在的で文脈に依存しないデータ品質問題（『データスモール』と呼ぶ）を導入し、将来的な問題を示唆するものとして位置づける。3つのカテゴリー（信ぴょう性、理解可能性、一貫性）に分けられた36種類のデータスモールのカタログを提案し、ルールベースおよび機械学習ベースのアプローチによる検出手法を提示。Kaggleの246件の実世界データセットを対象とした評価を通じて、データスモールは検出可能で実務的に管理可能であることを示し、事前のデータ品質保証を可能にし、技術的負債を低減することが可能である。

ABSTRACT

High data quality is fundamental for today's AI-based systems. However, although data quality has been an object of research for decades, there is a clear lack of research on potential data quality issues (e.g., ambiguous, extraneous values). These kinds of issues are latent in nature and thus often not obvious. Nevertheless, they can be associated with an increased risk of future problems in AI-based systems (e.g., technical debt, data-induced faults). As a counterpart to code smells in software engineering, we refer to such issues as Data Smells. This article conceptualizes data smells and elaborates on their causes, consequences, detection, and use in the context of AI-based systems. In addition, a catalogue of 36 data smells divided into three categories (i.e., Believability Smells, Understandability Smells, Consistency Smells) is presented. Moreover, the article outlines tool support for detecting data smells and presents the result of an initial smell detection on more than 240 real-world datasets.

研究の動機と目的

• AIベースのシステムにおける明白ではないが将来的な障害を引き起こす可能性のある、顕在化していないデータ品質問題に関する研究の不足に対処すること。
• コードスモールとの類推に基づき、データスモールの概念を定義し、AIシステムにおけるその特徴、原因、結果を明確化すること。
• 信ぴょう性、理解可能性、一貫性の3つに分類された36種類のデータスモールの包括的カタログの構築。
• 従来のデータ検証とは独立した、ルールベースおよび機械学習ベースの検出手法を提案・評価し、AI開発ライフサイクルの初期段階で問題のあるデータを早期に特定すること。
• Kaggleの246件の実世界データセットを用いた実験的評価を通じて、データスモール検出の実用的適用性を示すこと。

提案手法

• コードスモールとの類推に基づくデータスモールの概念的フレームワークを提案し、潜在的データ品質問題の初期兆候としての役割を強調する。
• 36種類のデータスモールを3種類に分類：信ぴょう性スモール（例：説得力のない値）、理解可能性スモール（例：曖昧なラベル）、一貫性スモール（例：矛盾するデータ表現）。
• ドメイン固有の制約を必要としない事前に定義されたヒューリスティクスを用いたルールベース検出手法を開発し、懸念を要するデータパターンを特定する。
• 合成データおよび実データで学習した機械学習ベースの検出手法を設計し、複雑で明白でないデータスモールパターンを特定する。
• 両検出手法をツール支援として実装し、データエンジニアリングパイプラインへの統合を可能にし、Kaggleの246件の実世界データセットで検証。
• 高頻度のデータ環境におけるデータストリームの優先順位付けのため、データスモール密度を指標として使用し、的を絞った検証作業を支援。

実験結果

リサーチクエスチョン

• RQ1 AIベースのシステムにおけるデータスモールの定義的特徴、原因、結果は何か？
• RQ2 データスモールはどのように体系的に分類され、実際のデータエラーとはどのように区別されるか？
• RQ3 AI開発ライフサイクルの初期段階で、早期に特定可能な、文脈に依存しない効果的な検出手法は何か？
• RQ4 実世界のデータセットにおけるデータスモール検出はどの程度現実的で、検出された問題の規模はどの程度か？
• RQ5 データスモール検出は、AIシステムにおけるデータ品質保証をどのように向上させ、技術的負債を低減できるか？

主な発見

• Kaggleの246件の実世界データセットを対象とした実験的評価から、データスモールは検出可能であり、管理可能なスケールで発生していることが判明し、実務的実現可能性が裏付けられた。
• ルールベース検出手法は、ドメイン固有の制約を必要とせず、懸念を要するデータパターンを効果的に特定した。これにより、広範な適用性が得られた。
• 機械学習ベース検出手法は、従来の検証では見逃されがちな複雑で明白でないデータスモールパターンを効果的に特定した。
• データスモール密度は、高頻度のデータ環境や複数のデータストリームを有するシステムにおいて、データ検証作業の優先順位付けに有用な指標であることが明らかになった。
• データスモール検出は、従来の品質保証ではすり抜ける微細なデータ処理上の欠陥を特定でき、モデルの劣化やデータ由来のバグのリスクを低減する。
• 本番システムへのデータスモール検出の適用により、以前に発見されていなかったデータ問題を特定でき、事前の根本原因分析や検証ルールの最適化が可能になった。