[論文レビュー] Towards Artefact-based Requirements Engineering for Data-Centric Systems

Tatiana Chuprina, Daniel Méndez+1 more|arXiv (Cornell University)|Mar 9, 2021

Big Data and Business Intelligence参考文献 10被引用数 9

ひとこと要約

本論文は、AI/MLコンponentsに依存するデータ中心のシステム（DCSs）を想定した、成果物ベースの要件工学（RE）アプローチを提案する。本アプローチは、データ駆動型の振る舞いと非決定的性質に注目し、新たな要件カテゴリとデータ中心の成果物を導入する。また、このようなシステムにおけるREの産業的課題について報告し、AI/MLを多用する開発文脈におけるモデリング、抽象化レベル、品質要件の取り扱いのギャップを埋めることを目的としている。

ABSTRACT

Many modern software-intensive systems employ artificial intelligence / machine-learning (AI/ML) components and are, thus, inherently data-centric. The behaviour of such systems depends on typically large amounts of data processed at run-time rendering such non-deterministic systems as complex. This complexity growth affects our understanding on needs and practices in Requirements Engineering (RE). There is, however, still little guidance on how to handle requirements for such systems effectively: What are, for example, typical quality requirements classes? What modelling concepts do we rely on or which levels of abstraction do we need to consider? In fact, how to integrate such concepts into approaches for a more traditional RE still needs profound investigations. In this research preview paper, we report on ongoing efforts to establish an artefact-based RE approach for the development of datacentric systems (DCSs). To this end, we sketch a DCS development process with the newly proposed requirements categories and data-centric artefacts and briefly report on an ongoing investigation of current RE challenges in industry developing data-centric systems.

研究の動機と目的

• AI/MLコンponentsに依存するデータ中心のシステム（DCSs）における要件工学（RE）の構造的ガイドラインの欠如に対処する。
• 特にデータ駆動型の振る舞いに関連する品質要件に特化した、新たな要件カテゴリの特定と定義を行う。
• 成果物ベースのモデリングを統合した概念的DCS開発プロセスの構築により、トレーサビリティと抽象化管理の改善を図る。
• 産業現場におけるデータ中心のシステムのRE課題を調査し、実用的適用性を裏付ける。
• 従来のREフレームワークにデータ中心の成果物と要件カテゴリを統合し、非決定的かつデータ集約型のシステム開発を支援する。

提案手法

• データとシステムの振る舞いを表現するために、成果物ベースのモデリングを組み込んだ、革新的なDCS開発プロセスを提案する。
• データ品質、モデルパフォーマンス、データラインレージの懸念事項を含む、データ中心のシステムに特化した新たな要件カテゴリを導入する。
• データフローダイアグラム、データラインレージ記録、モデルトレーニングログといったデータ中心の成果物を、コアなモデリング構成要素として定義する。
• 定性的な産業調査アプローチを用いて、実世界のDCS開発における繰り返し発生するRE課題を同定する。
• 提案された成果物と要件カテゴリを既存のREフレームワークに統合し、トレーサビリティと抽象化制御を支援する。
• 研究プレビュー形式を用いて、フィードバックと産業の知見に基づき、段階的にアプローチを洗練させる。

実験結果

リサーチクエスチョン

• RQ1 AI/MLコンponentsを有するデータ中心のシステムに特有の、主要な品質要件クラスは何か？
• RQ2 データ中心の成果物は、どのように形式的にモデリングされ、要件工学ライフサイクルに統合されるか？
• RQ3 データ中心のシステムの要件管理において、産業界の実務家が直面する主な課題は何か？
• RQ4 従来のREアプローチは、AI/MLシステムの非決定的かつデータ依存的な振る舞いに対処するために、どのように適合されるべきか？
• RQ5 DCSsにおけるデータフローと依存関係を効果的に表現するために、必要な抽象化レベルとモデリング構成要素は何か？

主な発見

• 著者らは、データ品質、モデルの頑健性、データラインレージ、モデルの解釈可能性を、データ中心のシステムにおける重要な品質要件クラスとして特定した。
• 提案された成果物ベースのアプローチにより、開発フェーズ全体にわたるデータおよびモデルの依存関係のトレーサビリティと管理が向上した。
• 産業界の実務家は、動的なデータ依存関係と非決定的性質のため、データ集約型システムの要件の明確化と進化に大きな課題を抱えている。
• REプロセスにデータ中心の成果物を統合することで、システムの振る舞いの理解が向上し、ステークホルダー間のコミュニケーションが促進された。
• 本研究は、データおよびモデルのライフサイクル関心を捉えるために、従来の機能的および非機能的要件を越えた新たなモデリング構成要素の必要性を浮き彫りにした。
• 継続的な調査により、生産環境におけるデータ品質およびモデルパフォーマンス要件の体系的取り扱いに、現在のRE実務におけるギャップが存在することが明らかになった。