[論文レビュー] Exploring ML testing in practice -- Lessons learned from an interactive rapid review with Axis Communications

Qunying Song, Markus Borg+3 more|arXiv (Cornell University)|Mar 30, 2022

Software Engineering Research被引用数 4

ひとこと要約

本研究では、Axis Communicationsの産業界の実務家と研究者らが参加するインタラクティブ・ラピッドレビュー（IRR）を実施し、コンピュータビジョンシステムにおける機械学習（ML）のテスト、特にデータテストの課題を検討した。協働作業により、洗練された分類法が構築され、12の主要な課題が特定され、データテストのための9つの技術的ルールが提示された。これらは、産業界のニーズに完全に一致しなかったが、実用的で柔軟に適用可能な知見を提供した。

ABSTRACT

There is a growing interest in industry and academia in machine learning (ML) testing. We believe that industry and academia need to learn together to produce rigorous and relevant knowledge. In this study, we initiate a collaboration between stakeholders from one case company, one research institute, and one university. To establish a common view of the problem domain, we applied an interactive rapid review of the state of the art. Four researchers from Lund University and RISE Research Institutes and four practitioners from Axis Communications reviewed a set of 180 primary studies on ML testing. We developed a taxonomy for the communication around ML testing challenges and results and identified a list of 12 review questions relevant for Axis Communications. The three most important questions (data testing, metrics for assessment, and test generation) were mapped to the literature, and an in-depth analysis of the 35 primary studies matching the most important question (data testing) was made. A final set of the five best matches were analysed and we reflect on the criteria for applicability and relevance for the industry. The taxonomies are helpful for communication but not final. Furthermore, there was no perfect match to the case company's investigated review question (data testing). However, we extracted relevant approaches from the five studies on a conceptual level to support later context-specific improvements. We found the interactive rapid review approach useful for triggering and aligning communication between the different stakeholders.

研究の動機と目的

• 産業界と学術界が共同で実世界の応用におけるMLテストの課題に取り組む研究協働を開始すること。
• Axis Communicationsの実務者と学術研究者との間で用語や研究の優先順位を一致させること。
• MLテストに関する関連研究を、特にコンピュータビジョンにおけるデータテストという産業特有の課題にマッピングすること。
• 学術文献から、産業利用に向けた適用可能な技術的ルールと適用基準を抽出すること。
• 安全上の重要なMLシステムにおけるデータテストに焦点を当てた、今後の共同研究やMSc修士論文プロジェクトを支援すること。

提案手法

• 8名のステークホルダー（4名の研究者と4名のAxis Communicationsの実務者）を対象に、インタラクティブ・ラピッドレビュー（IRR）を実施した。
• 構造的で協働的なプロセスを用いて、反復的かつ整合性を保った議論を経て、180件の一次的論文をMLテストに関するものとしてレビューした。
• 既存のソフトウェアテストおよびAI品質フレームワークに基づき、課題と解決策を分類するための分類法（SERP分類法）を開発・拡張した。
• Axis社の12の実務的課題を優先順位付けし、上位3つ（データテスト、メトリクス、テスト生成）を関連文献にマッピングした。
• 'データセットのテスト方法'に関する35件の研究を詳細分析し、9つの技術的ルールと文脈要因を抽出した。
• 概念的適合性、技術的実現可能性、ドメイン適合性などの基準を用いて、選定された研究の関連性と適用可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 産業界の視点からすると、MLベースのコンピュータビジョンシステムにおけるデータテストのための、最も関連性があり適用可能な研究的解決策は何か？
• RQ2 研究者と実務家は、MLテストにおける主要な課題をどのように共同で特定・優先順位付けできるか？
• RQ3 学術文献から抽出可能な技術的ルールと適用基準は何か？ これらは産業界におけるMLテストの応用を支援するものとなるか？
• RQ4 分類法は、AI品質分野における学術的研究と産業的実務の間のコミュニケーションと一致をどのように支援できるか？
• RQ5 実世界のシステムにおいて、MLテスト手法の適用性に影響を与える主な文脈要因は何か？

主な発見

• 既存の学術的研究とAxis Communicationsの具体的なデータテスト課題との間には、完全な一致が見つからず、産業的コンピュータビジョンシステムにおける実用的で文脈に特化したデータテスト分野に研究ギャップが存在することが示された。
• 5件の潜在的高効果論文から、産業界ニーズに適合させられる概念的枠組みを提供する9つの技術的ルールが抽出された。
• インタラクティブ・ラピッドレビューのプロセスにより、共通理解の確立、用語の統一、学術・産業界間の信頼関係構築が成功裏に達成された。
• ソフトウェアテストおよびAI品質の次元を統合したSERP分類法は、MLテスト研究の複雑な分野を整理・ナビゲートするのに有効であることが判明した。
• 実務家たちは、驚きの適正性技術（surprise adequacy technique）が特に関連性が高く、すでにデータ収集プロセスに適用し始めている。
• 本研究は、特に自動車、航空宇宙、医療分野などの安全上の重要な分野において、AI品質の中心的要因としてのデータ品質保証の重要性を強調している。