[論文レビュー] Requirements Engineering for Artificial Intelligence Systems: A Systematic Mapping Study

Khlood Ahmad, Mohamed Abdelrazek+3 more|arXiv (Cornell University)|Dec 20, 2022

Software Engineering Techniques and Practices被引用数 11

ひとこと要約

本系統的マッピング研究では、人工知能システムの要件工学（RE4AI）に関する43件の一次研究を特定し、現在の実践がUMLおよびGOREによるモデリングに大きく依存しており、ソフトウェアとデータサイエンティストの統合が不十分で、データ要件、倫理、説明可能性、人間中心設計の面で深刻な課題を抱えていることが明らかになった。これは、AIに特化した新しい手法およびツールの開発が急務であることを示している。

ABSTRACT

[Context] In traditional software systems, Requirements Engineering (RE) activities are well-established and researched. However, building Artificial Intelligence (AI) based software with limited or no insight into the system's inner workings poses significant new challenges to RE. Existing literature has focused on using AI to manage RE activities, with limited research on RE for AI (RE4AI). [Objective] This paper investigates current approaches for specifying requirements for AI systems, identifies available frameworks, methodologies, tools, and techniques used to model requirements, and finds existing challenges and limitations. [Method] We performed a systematic mapping study to find papers on current RE4AI approaches. We identified 43 primary studies and analysed the existing methodologies, models, tools, and techniques used to specify and model requirements in real-world scenarios. [Results] We found several challenges and limitations of existing RE4AI practices. The findings highlighted that current RE applications were not adequately adaptable for building AI systems and emphasised the need to provide new techniques and tools to support RE4AI. [Conclusion] Our results showed that most of the empirical studies on RE4AI focused on autonomous, self-driving vehicles and managing data requirements, and areas such as ethics, trust, and explainability need further research.

研究の動機と目的

• AIの不確実性やブラックボックス性に対応できない従来の要件工学（RE）の限界を踏まえ、AIシステムに特化した要件工学（RE）実践の増加するニーズに対応する。
• RE4AIで使用されているフレームワーク、モデリング言語、ツール、技術を特定し、その適用性と成熟度を評価する。
• データ要件、倫理的懸念、説明可能性、ソフトウェアエンジニアとデータサイエンティストの協働ギャップといった重要な課題を浮き彫りにする。
• 研究の焦点の不均衡を検証し、多数の実証的研究が自律走行車に集中している一方で、倫理、信頼性、人間中心AIに十分な注意が払われていないことを明らかにする。
• AIシステムに適した統合的で柔軟かつ人間中心のRE手法の開発を促進するための実行可能な研究提言を提供する。

提案手法

• KitchenhamとPetersenの指針に従い、複数の学術データベースを網羅的に検索する包括的な検索戦略を用いて系統的マッピング研究を実施した。
• 2段階のスクリーニングプロセス（タイトル/要旨および本文レビュー）を通じて43件の一次研究を同定し、RE4AIにおける実証的評価と理論的提案に焦点を当てた。
• フレームワーク、モデリング表記法（例：UML、GORE、DSM）、評価手法、応用分野、AI分野ごとに研究を分類した。
• 分野や時間的経過にわたる技術、ツール、課題の頻度と分布を分析し、トレンドと研究ギャップを特定した。
• 初期研究（27件）に加え、2020年半ばから2021年半ばまでの16件の新規研究を追加してカバー範囲を拡大し、結果の更新を図った。
• テーマ別に統合された知見を整理し、データ処理の課題、倫理的モデリング、説明可能性、人間中心的側面を含む分野に焦点を当て、実証的検証のギャップを強調した。

Figure 1: Paper extraction process

実験結果

リサーチクエスチョン

• RQ1 AIシステムを構築するために提案された要件工学フレームワーク、表記法、モデリング言語、ツールは何か？
• RQ2 RE4AIにおける実証的研究を評価するために用いられている評価手法は何か？
• RQ3 既存のアプローチで検討されているターゲット応用分野とAI分野の焦点は何か？
• RQ4 AIシステムに適用された既存の要件工学技術に見られる制限と課題は何か？

主な発見

• RE4AI研究の大多数はモデリングにUMLとGOREに依存しており、UMLは非技術的ステークホルダーのアクセス性の高さから好まれる一方、GOREは非機能要件やビジネスルールのサポートに優れている。
• 要件の提示にDSM（分野特化型モデリング）の使用が増加しており、より専門的なモデリングアプローチへのシフトが示唆されている。
• 実証的研究の大多数は自律システム、特に自動運転車に集中しているが、倫理、説明可能性、信頼性に関する研究は理論的であり、未だ十分に掘り下げられていない。
• ソフトウェアエンジニアとデータサイエンティストの統合が不十分であることが顕著な課題となっており、効果的な要件定義とシステム開発を阻害している。
• 人間中心の側面を明示的に扱った研究はわずか2件にとどまり、ユーザーの多様性、バイアス低減、包括的なデータ収集の統合における重要な研究ギャップが示されている。
• 既存のツールや手法はAIシステムに十分に適応されておらず、特にデータ品質、バイアス、モデルの透明性の管理において、AIに特化した新しいREフレームワークの導入が求められている。

Figure 2: Distribution of the resulting empirical papers after performing the quality assessment score