[論文レビュー] Software Engineering for AI-Based Systems: A Survey

Silverio Martínez‐Fernández, Justus Bogner+6 more|arXiv (Cornell University)|May 5, 2021

Software Engineering Research参考文献 238被引用数 291

ひとこと要約

本論文は2010年から2020年までのAIベースのシステムにおけるソフトウェア工学（SE4AI）の体系的マッピングスタディを提示し、248件の研究を分析して主なSEアプローチ、課題、研究トレンドを同定した。その結果、ソフトウェアテストと品質が最も研究が進んでいる分野である一方、保守は著しく研究が不足しており、データ関連の課題が主な障壁となっており、AIシステムにおけるSE実務の見直しが求められていることが明らかになった。

ABSTRACT

AI-based systems are software systems with functionalities enabled by at least one AI component (e.g., for image- and speech-recognition, and autonomous driving). AI-based systems are becoming pervasive in society due to advances in AI. However, there is limited synthesized knowledge on Software Engineering (SE) approaches for building, operating, and maintaining AI-based systems. To collect and analyze state-of-the-art knowledge about SE for AI-based systems, we conducted a systematic mapping study. We considered 248 studies published between January 2010 and March 2020. SE for AI-based systems is an emerging research area, where more than 2/3 of the studies have been published since 2018. The most studied properties of AI-based systems are dependability and safety. We identified multiple SE approaches for AI-based systems, which we classified according to the SWEBOK areas. Studies related to software testing and software quality are very prevalent, while areas like software maintenance seem neglected. Data-related issues are the most recurrent challenges. Our results are valuable for: researchers, to quickly understand the state of the art and learn which topics need more research; practitioners, to learn about the approaches and challenges that SE entails for AI-based systems; and, educators, to bridge the gap among SE and AI in their curricula.

研究の動機と目的

• 研究者、実務家、教育者を支援するため、AIベースのシステムにおけるソフトウェア工学（SE4AI）の現状を統合的に把握すること。
• AIシステム開発・運用・保守における主なSEアプローチ、課題、研究トレンドを同定すること。
• SWEBOK知識領域における研究の分布を分析し、ソフトウェア保守のような未開拓分野を浮き彫りにすること。
• SE4AIの分類体系と概念的フレームワークを提供し、今後の研究における明確さと一貫性を高めること。
• 特にデータ関連の課題を含む主要な課題を同定し、AIシステムにおけるSE基準と実務の改善を提言すること。

提案手法

• 体系的文献レビュー手順に従い、体系的マッピングスタディ（SMS）を実施した。
• 2010年1月から2020年3月にかけて発表された研究を対象とし、12のデータベースおよびarXivを検索し、事前に定めた含む／除外する基準を適用した。
• 三段階のスクリーニングプロセス（タイトル／要旨、全文、最終的資格）を実施し、二重独立スクリーニングと合意形成による解決を実施した。
• SWEBOK知識領域（例：ソフトウェアテスト、品質、要件）を用いて研究を分類し、SEアプローチをマッピングした。
• 研究の貢献を分析し、テーマごとにグループ化することで課題を同定した。特にデータ、倫理、システム固有の課題に注目した。
• 研究チームによる定性的分析と反復的コード化を実施し、カテゴリーの洗練と一貫性を確保した。

実験結果

リサーチクエスチョン

• RQ1 AIベースのシステムの開発および保守に用いられる主なソフトウェア工学アプローチは何か。また、それらはSWEBOK知識領域のどの分野にどのように分布しているか。
• RQ2 SE4AI研究で最も頻繁に標的とされている品質特性とアプリケーション分野は何か。また、支配的であるAI技術は何か。
• RQ3 AIベースのシステムの工学的課題として顕在化している主な課題は何か。それらは特定のSE知識領域とどのように関連しているか。
• RQ4 2010年から2020年にかけてSE4AIの研究環境はどのように変化したか。特にソフトウェア保守のような未代表的な分野における研究ギャップは何か。
• RQ5 主要な研究が、AIシステムにおけるデータ品質、モデルの頑健性、倫理的配慮といった実務的課題をどの程度取り扱っているか。

主な発見

• SE4AI研究の2分の1以上が2018年以降に発表されており、分野の急速な成長を示している。
• ソフトウェアテスト（115件）とソフトウェア品質（59件）が最も研究が進んでいるSE分野であり、テストケース生成やISO 26262などの基準適合の適応が強い関心を集めた。
• データ関連の課題が最も繰り返し挙げられる課題であり、同定された課題の25％で言及されており、データ品質、バイアス、不足が主な懸念事項である。
• ソフトウェア保守は著しく未研究に近く、10件未満の研究しか同定されず、大きな研究ギャップが示された。
• 自動車分野が最も頻出するアプリケーション分野であり、ほぼ半数の研究が特定の分野を明示していない。
• ディープラーニングが最も明示的に言及されたAI技術であり、ほぼすべての研究で使用されており、現在のAIベースのシステムにおける支配的役割を反映している。