[論文レビュー] Requirements Engineering Framework for Human-centered Artificial Intelligence Software Systems

Khlood Ahmad, Mohamed Abdelrazek+4 more|arXiv (Cornell University)|Mar 6, 2023

Persona Design and Applications被引用数 5

ひとこと要約

本論文は、人間中心のAI指針、文献レビュー、専門家調査結果を統合して、AIベースのソフトウェアの要件を抽出・モデル化するための、人間中心の人工知能の要件工学（RE4HCAI）フレームワークを提案する。このフレームワークは、参照マップ、要件カタログ、概念的モデリングツールの3層構造を採用しており、360°VR動画の品質向上を目的とした事例研究で検証された。AIのブラックボックス性にもかかわらず、初期段階での人間中心のニーズの特定が向上したことが示された。

ABSTRACT

[Context] Artificial intelligence (AI) components used in building software solutions have substantially increased in recent years. However, many of these solutions focus on technical aspects and ignore critical human-centered aspects. [Objective] Including human-centered aspects during requirements engineering (RE) when building AI-based software can help achieve more responsible, unbiased, and inclusive AI-based software solutions. [Method] In this paper, we present a new framework developed based on human-centered AI guidelines and a user survey to aid in collecting requirements for human-centered AI-based software. We provide a catalog to elicit these requirements and a conceptual model to present them visually. [Results] The framework is applied to a case study to elicit and model requirements for enhancing the quality of 360 degree~videos intended for virtual reality (VR) users. [Conclusion] We found that our proposed approach helped the project team fully understand the human-centered needs of the project to deliver. Furthermore, the framework helped to understand what requirements need to be captured at the initial stages against later stages in the engineering process of AI-based software.

研究の動機と目的

• AIベースのソフトウェアシステムの要件工学（RE）において、人間中心のアプローチが不足しているという問題に対処すること。
• 年齢、性別、文化、感情などの多様な人間要因を要件工学段階で捉えるための体系的フレームワークを開発すること。
• 既存の人間中心のAI指針と、それらを早期のソフトウェア開発段階で実践的に適用するギャップを埋めること。
• モデルの動作が不透明またはデータ依存性が高い場合に特に有効な、反復的な要件抽出を支援すること。
• 再利用可能で、実証的根拠に基づいたフレームワークを提供し、人間中心のAI要件の抽出と視覚的モデリングを支援すること。

提案手法

• フレームワークは、業界の人間中心のAI指針、RE4AIに関する系統的文献レビュー（SLR）、専門家調査結果を統合して構築された。これにより、優先度の高い人間中心の側面を同定した。
• 3層構造で構成される：6つの人間中心のAI分野を網羅する参照マップ、要件抽出のための要件カタログ、視覚的表現のための概念的モデリング言語。
• 要件カタログには、ユーザー、モデル、データに関連するニーズを引き出すための構造化されたプロンプトとカテゴリが含まれる。
• 概念的モデリング層では、視覚的モデリングを用いて人間中心の要件とシステム部品との関係を表現する。
• AIベースの360°VR動画品質向上を目的とした事例研究を通じてフレームワークを評価した。ユーザー体験と包括性に焦点を当てた。
• 反復的なREプロセスを適用した結果、一部の要件はモデルのテスト後にのみ明らかになったことが判明し、継続的な要件抽出の必要性が浮き彫りになった。

Figure 1: Our proposed framework to elicit and model requirements for human-centered AI.

実験結果

リサーチクエスチョン

• RQ1 AIソフトウェア開発の初期段階において、人間中心のAI指針をどのように体系的に実行可能な要件に翻訳できるか。
• RQ2 要件工学段階で特に重要となる人間中心の側面（年齢、性別、文化、感情など）は何か。
• RQ3 概念的モデリングアプローチは、人間中心のAI要件の明確さとトレーサビリティをどのように向上させられるか。
• RQ4 フレームワークは、モデルの学習やテスト後にのみ明らかになる要件の特定をどの程度支援できるか。
• RQ5 非技術的で人間中心の要因をAIシステムに組み込む観点から、既存のREアプローチと比較して、本フレームワークはどのような優位性を示すか。

主な発見

• RE4HCAIフレームワークは、360°VR動画強化システムに対して、特にユーザー体験と包括性に注目した人間中心の要件を同定・モデル化するのに成功した。
• モデルの動作やデータバイアスに関連する一部の要件は、AIのブラックボックス性のため、初期段階では完全に明確にできないことが判明し、反復的なREアプローチの必要性が示された。
• 専門家調査と文献レビューの結果、感情、性格、社会経済的地位といった側面が、現在のAIシステムの要件工学実務で頻繁に見過ごされていることが明らかになった。
• 概念的モデリング層は、人間のニーズとシステム部品との複雑な関係を効果的に視覚化し、ステークホルダーの理解と整合性を向上させた。
• 事例研究により、要件工学段階で人間中心の側面を早期に統合することで、より責任ある、包括的で高品質なAIソフトウェアの成果が得られることを示した。
• フレームワークは、既存のRE実務における限界を明らかにした。特に、AI開発における非技術的で人間中心の要因を体系的に支援する仕組みの欠如が顕在化した。

Figure 2: Human-centered needs for AI and the frequency of survey participants who selected them.