[論文レビュー] Quality Assurance for Artificial Intelligence: A Study of Industrial Concerns, Challenges and Best Practices

Chenyu Wang, Yang Zhou+3 more|arXiv (Cornell University)|Feb 26, 2024

Quality and Safety in Healthcare被引用数 4

ひとこと要約

本研究は、15名の実務者とのインタビューと50名のアンケート調査を通じて、人工知能の品質保証（QA4AI）における産業的関心、課題、およびベストプラクティスを調査した。正しさが最優先事項であり、その後にモデルの関連性、効率性、デプロイメント性が続く。21のQA4AIプラクティスを提案し、そのうち10が強く支持され、8がやや合意されたものとして分類され、産業界での実装に役立つ実用的チェックリストを提供する。

ABSTRACT

Quality Assurance (QA) aims to prevent mistakes and defects in manufactured products and avoid problems when delivering products or services to customers. QA for AI systems, however, poses particular challenges, given their data-driven and non-deterministic nature as well as more complex architectures and algorithms. While there is growing empirical evidence about practices of machine learning in industrial contexts, little is known about the challenges and best practices of quality assurance for AI systems (QA4AI). In this paper, we report on a mixed-method study of QA4AI in industry practice from various countries and companies. Through interviews with fifteen industry practitioners and a validation survey with 50 practitioner responses, we studied the concerns as well as challenges and best practices in ensuring the QA4AI properties reported in the literature, such as correctness, fairness, interpretability and others. Our findings suggest correctness as the most important property, followed by model relevance, efficiency and deployability. In contrast, transferability (applying knowledge learned in one task to another task), security and fairness are not paid much attention by practitioners compared to other properties. Challenges and solutions are identified for each QA4AI property. For example, interviewees highlighted the trade-off challenge among latency, cost and accuracy for efficiency (latency and cost are parts of efficiency concern). Solutions like model compression are proposed. We identified 21 QA4AI practices across each stage of AI development, with 10 practices being well recognized and another 8 practices being marginally agreed by the survey practitioners.

研究の動機と目的

• QA4AIの特性、たとえば正しさ、公平性、解釈可能性について、産業界の認識を理解すること。
• 実際のAI開発における各QA4AI特性の実現に向けた主な課題と解決策を特定すること。
• AI開発ライフサイクル全体にわたってQA4AIのベストプラクティスを抽出・検証すること。
• AI品質保証分野における学術的研究と産業応用のギャップを埋めること。

提案手法

• 多様な企業および国からの15名のAI実務者に対して、半構造化インタビューを実施した。
• 調査結果の妥当性を検証するため、追加の50名の産業界実務者にアンケートを実施した。
• QA4AI特性を9段階のAI開発ワークフローにマッピングし、包括的なカバーを確保した。
• インタビュー資料およびアンケート回答の主題分析を通じて、21のQA4AIプラクティスを同定した。
• アンケートの合意度に基づき、プラクティスを「強く支持された（10）」または「やや合意された（8）」に分類した。
• 実務者から報告されたトレードオフ（例：遅延 vs. コスト vs. 正確性）およびツール使用状況を分析した。

実験結果

リサーチクエスチョン

• RQ1 産業界の実務者は、異なるQA4AI特性の重要性をどのようにランク付けしているか？
• RQ2 実務において各QA4AI特性を確保するにあたり、主な課題と解決策は何か？
• RQ3 AI開発ライフサイクル全体にわたって認識され、採用されているベストプラクティスは何か？
• RQ4 実務者の認識は、QA4AIに関する学術的研究とどのように一致しているか？

主な発見

• 正しさが最も重要なQA4AI特性であり、その後にモデルの関連性、効率性、デプロイメント性が続く。
• 実務者からは、遅延、コスト、正確性の間で顕著なトレードオフが報告されており、モデル圧縮が主要な解決策である。
• 正しさや効率性に比べ、公平性、セキュリティ、移行性は低い優先順位である。
• 10のQA4AIプラクティスが実務者から強く支持された。例：データおよびモデルのバージョン管理、モデル入力の自動テスト。
• 8のプラクティスがやや合意されたものとして分類された。例：モデル予測のログ記録、A/Bテストによるモデル比較。
• 実務者たちは学術的なツールや技術を認識しているが、複雑さや統合の難しさのため、実際の現場での導入にはギャップがあると指摘した。