[논문 리뷰] Requirements Engineering for Artificial Intelligence Systems: A Systematic Mapping Study

Khlood Ahmad, Mohamed Abdelrazek외 3명|arXiv (Cornell University)|2022. 12. 20.

Software Engineering Techniques and Practices인용 수 11

한 줄 요약

이 체계적 맵핑 연구는 인공지능 시스템을 위한 요구사항 공 ing(Requirements Engineering, RE4AI)에 관한 43개의 주요 연구를 규명하여, 현재의 관행이 모델링에 UML과 GORE에 크게 의존하고 있으며, 소프트웨어 및 데이터 과학자 간의 통합이 부족하고, 데이터 요구사항, 윤리, 설명 가능성, 인간 중심 설계 측면에서 심각한 과제에 직면해 있음을 드러내며, 새로운 맞춤형 방법론과 도구의 긴급한 필요성을 강조한다.

ABSTRACT

[Context] In traditional software systems, Requirements Engineering (RE) activities are well-established and researched. However, building Artificial Intelligence (AI) based software with limited or no insight into the system's inner workings poses significant new challenges to RE. Existing literature has focused on using AI to manage RE activities, with limited research on RE for AI (RE4AI). [Objective] This paper investigates current approaches for specifying requirements for AI systems, identifies available frameworks, methodologies, tools, and techniques used to model requirements, and finds existing challenges and limitations. [Method] We performed a systematic mapping study to find papers on current RE4AI approaches. We identified 43 primary studies and analysed the existing methodologies, models, tools, and techniques used to specify and model requirements in real-world scenarios. [Results] We found several challenges and limitations of existing RE4AI practices. The findings highlighted that current RE applications were not adequately adaptable for building AI systems and emphasised the need to provide new techniques and tools to support RE4AI. [Conclusion] Our results showed that most of the empirical studies on RE4AI focused on autonomous, self-driving vehicles and managing data requirements, and areas such as ethics, trust, and explainability need further research.

연구 동기 및 목표

• 기존의 요구사항 공학(RE)이 인공지능의 불확실성과 투명성 부족한 특성에 대응하지 못함을 감안할 때, AI 시스템 전용으로 맞춤화된 요구사항 공학 관행의 증가하는 필요성을 해결하기 위해.
• RE4AI 분야에서 사용된 기존 프레임워크, 모델링 언어, 도구 및 기법을 식별하여 그 적용 가능성과 성숙도를 평가하기 위해.
• 데이터 요구사항, 윤리적 고려사항, 설명 가능성, 소프트웨어 및 데이터 과학자 간 협업 격차와 같은 핵심 과제를 부각하기 위해.
• 연구 초점의 불균형을 검토하기 위해, 대부분의 실증 연구가 자율 주행 차량 중심에 집중되어 있고 윤리, 신뢰, 인간 중심 AI에 대한 관심은 제한적임을 밝히기 위해.
• 향후 AI 시스템을 위한 통합적이고 유연하며 인간 중심적인 요구사항 공학 방법론 개발을 이끄는 실질적인 연구 권고안을 제공하기 위해.

제안 방법

• Kitchenham과 Petersen의 지침을 따르는 체계적 맵핑 연구를 수행하였으며, 다수의 학술 데이터베이스를 대상으로 포괄적인 검색 전략을 적용하였다.
• 두 단계의 스크리닝 절차(제목/초록 및 전문 검토)를 통해 43개의 주요 연구를 식별하였으며, RE4AI 분야의 실증 평가 및 이론적 제안에 중점을 두었다.
• 프레임워크, 모델링 표기법(예: UML, GORE, DSM), 평가 방법, 적용 분야, AI 하위 분야 등 기준에 따라 연구를 분류하였다.
• 분야 및 시기별 기법, 도구, 과제의 빈도와 분포를 분석하여 추세와 연구 격차를 규명하였다.
• 초기 연구(27건)에 대해 2020년 중반에서 2021년 중반까지 추가로 16건의 연구를 확장하여 커버리지 향상과 결과 업데이트를 수행하였다.
• 주제별 카테고리로 통합된 결과를 분석하여, 데이터 처리 과제, 윤리 모델링, 설명 가능성, 인간 중심적 요소 등에 중점을 두었으며, 실증 검증 격차를 강조하였다.

Figure 1: Paper extraction process

실험 결과

연구 질문

• RQ1 AI 시스템을 구축하기 위해 제안된 요구사항 공학 프레임워크, 표기법, 모델링 언어, 도구는 무엇인가?
• RQ2 RE4AI의 실증 연구를 평가하는 데 사용되는 평가 방법은 무엇인가?
• RQ3 기존 접근법에서 고려된 목표 응용 분야와 AI 분야의 초점은 무엇인가?
• RQ4 기존 요구사항 공학 기법이 AI 시스템에 적용될 때 겪는 한계와 과제는 무엇인가?

주요 결과

• 대부분의 RE4AI 연구는 모델링에 UML과 GORE를 사용하며, UML은 비기술자 스테이크홀더의 접근성 덕분에 선호되고, GORE는 비기능 요구사항과 비즈니스 규칙에 더 잘 대응한다.
• 요구사항 제시를 위한 DSM(Domain-Specific Modeling)의 사용 증가 추세는 더 전문화된 모델링 접근법으로의 전환을 시사한다.
• 다수의 실증 연구는 자율 시스템, 특히 자율 주행 차량 중심에 집중되어 있으며, 윤리, 설명 가능성, 신뢰에 대한 연구는 대부분 이론적 수준이며 탐색이 부족한 상태이다.
• 소프트웨어 엔지니어와 데이터 과학자 간의 통합 부족이 핵심 과제로 나타나며, 이는 효과적인 요구사항 명세 및 시스템 개발을 방해한다.
• 사용자 다양성, 편향 완화, 포괄적인 데이터 수집을 통합하는 데 있어 인간 중심적 요소를 명시적으로 다룬 연구는 단 두 건에 불과하여 이 분야의 심각한 연구 격차를 보여준다.
• 기존 도구 및 방법론은 AI 시스템에 대해 충분히 유연하게 적용되지 않으며, 특히 데이터 품질, 편향, 모델 투명성 관리 측면에서 새로운 AI 기반의 요구사항 공학 프레임워크가 필요하다.

Figure 2: Distribution of the resulting empirical papers after performing the quality assessment score