[論文レビュー] What is Software Quality for AI Engineers? Towards a Thinning of the Fog

Valentina Golendukhina, Valentina Lenarduzzi+1 more|arXiv (Cornell University)|Mar 23, 2022

Software Engineering Research被引用数 6

ひとこと要約

本研究は、AI/MLコンポonentのソフトウェア品質保証（SQA）実践について、AI搭載システムを開発する10のオーストリア中小企業（SME）を対象に半構造化インタビューを実施することで調査している。開発、統合、保守の各段階で生じる12の主要な品質課題を特定し、その原因はコード品質の悪さ、訓練不足、不十分なテストに起因している。本研究は、AI工学におけるSQAの改善に向けた基盤的知見を提供する。

ABSTRACT

It is often overseen that AI-enabled systems are also software systems and therefore rely on software quality assurance (SQA). Thus, the goal of this study is to investigate the software quality assurance strategies adopted during the development, integration, and maintenance of AI/ML components and code. We conducted semi-structured interviews with representatives of ten Austrian SMEs that develop AI-enabled systems. A qualitative analysis of the interview data identified 12 issues in the development of AI/ML components. Furthermore, we identified when quality issues arise in AI/ML components and how they are detected. The results of this study should guide future work on software quality assurance processes and techniques for AI/ML components.

研究の動機と目的

• オーストリアの中小企業（SME）がAI/MLコンポonentにソフトウェア品質保証（SQA）実践をどのように適用しているかを理解すること。
• 実際の現場環境において、AI/MLコンポonentの開発、統合、保守段階で生じる具体的な品質課題を特定すること。
• 産業的文脈におけるAI/MLシステムで、品質課題がいつ、どのように検出されるかを調査すること。
• AIエンジニアのSQAプロセスとトレーニングの改善に役立つ実務的知見を提供すること。現在の実践におけるギャップを解消すること。

提案手法

• AI搭載システムを開発するオーストリアの中小企業の代表者10名に対して、半構造化インタビューを実施した。
• 開発、統合、保守を含むAI/ML開発ライフサイクル全般における実務者の経験に焦点を当てた。
• AI/ML品質保証における繰り返し現れるテーマや課題を特定するために、定性的データ分析を実施した。
• SQA戦略、課題、検出メカニズムを探索するため、オープンエンドの質問を含む構造化されたインタビュー・プロトコルを適用した。
• 研究者4名による共同レビューと照合作業を通じて、結果の整合性と信頼性を検証した。
• 発生源、検出時期、根本的要因に基づいて、品質課題を分類・文書化した。

実験結果

リサーチクエスチョン

• RQ1 中小企業（SME）は、AI/MLコンポonentの開発、統合、保守段階で、主にどのようなソフトウェア品質保証（SQA）戦略を採用しているか？
• RQ2 産業現場におけるAI/MLコンポonentの開発および保守段階で、具体的にどのような品質課題が生じるか？
• RQ3 実務者の観点から、AI/MLシステムで品質課題はいつ、どのように検出されるか？
• RQ4 AIエンジニアが報告するところの、AI/MLコンポonentにおけるソフトウェア品質の悪化の根本的要因は何か？
• RQ5 現在のAI/ML向けSQA実践は、従来のソフトウェア工学実践とどのように異なるのか。また、そのギャップは何か？

主な発見

• AI/MLコンポonent開発において、コード品質、設定、モデルトレーニングに関する12の明確に異なる品質課題が同定された。
• 多くの品質課題は、AIエンジニアに対するソフトウェア工学的実践の正式なトレーニング不足に起因し、悪いコーディング基準や技術的負債を引き起こしている。
• 品質課題は、特にデータパイプラインの変更、モデルバージョンの変更、ライブラリのアップデートに起因して、統合および保守段階で多く発生する。
• 品質課題の検出は、しばしば反応的かつ非公式であり、体系的なテストや監視ではなく、手動による点検やエラーレポートに依存している。
• 多くの課題は、MLライブラリ（例：TensorFlow）の誤った使用に起因しており、パラメータの誤設定や配列サイズの不一致が含まれる。
• ソフトウェア工学と機械学習のコミュニティ間で用語や期待値に著しい不一致があり、これがSQAプロセスにおける混乱や誤りを助長している。