[논문 리뷰] Requirements Engineering Framework for Human-centered Artificial Intelligence Software Systems

Khlood Ahmad, Mohamed Abdelrazek외 4명|arXiv (Cornell University)|2023. 03. 06.

Persona Design and Applications인용 수 5

한 줄 요약

이 논문은 인간 중심 AI 지침, 문헌 분석 및 전문가 설문 조사 결과를 통합하여 인공지능 기반 소프트웨어를 위한 요구사항을 도출하고 모델링하는 인간 중심 인공지능을 위한 요구사항 공 ing(Requirements Engineering) 프레임워크(RE4HCAI)를 제안한다. 이 프레임워크는 참조 맵, 요구사항 카탈로그, 개념적 모델링 도구의 3단계 구조를 사용하며, 360도 VR 영상 품질 향상 사례 연구를 통해 검증되었으며, 인공지능의 투명성 부족에도 불구하고 초기 단계에서 인간 중심의 요구사항을 보다 효과적으로 식별함을 입증했다.

ABSTRACT

[Context] Artificial intelligence (AI) components used in building software solutions have substantially increased in recent years. However, many of these solutions focus on technical aspects and ignore critical human-centered aspects. [Objective] Including human-centered aspects during requirements engineering (RE) when building AI-based software can help achieve more responsible, unbiased, and inclusive AI-based software solutions. [Method] In this paper, we present a new framework developed based on human-centered AI guidelines and a user survey to aid in collecting requirements for human-centered AI-based software. We provide a catalog to elicit these requirements and a conceptual model to present them visually. [Results] The framework is applied to a case study to elicit and model requirements for enhancing the quality of 360 degree~videos intended for virtual reality (VR) users. [Conclusion] We found that our proposed approach helped the project team fully understand the human-centered needs of the project to deliver. Furthermore, the framework helped to understand what requirements need to be captured at the initial stages against later stages in the engineering process of AI-based software.

연구 동기 및 목표

• 인공지능 기반 소프트웨어 시스템의 요구사항 공 ing에서 인간 중심 접근법의 부족을 해결하기 위해.
• 다양한 인간 요소—예를 들어 연령, 성별, 문화, 정서—를 요구사항 공 ing 단계에서 포괄하는 체계적인 프레임워크를 개발하기 위해.
• 기존의 인간 중심 인공지능 지침과 초기 소프트웨어 개발 단계에서의 실용적 적용 간 격차를 메우기 위해.
• 특히 모델 행동이 투명하지 않거나 데이터에 의존하는 경우에 적합한 반복적 요구사항 도출을 지원하기 위해.
• 요구사항 도출 및 인간 중심 인공지능 요구사항의 시각적 모델링을 위한 재사용 가능하고 경험 기반의 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 산업 분야의 인간 중심 인공지능 지침, 인공지능을 위한 요구사항 공 ing에 관한 체계적 문헌 리뷰(SLR), 전문가 설문 조사 결과를 종합하여 개발되었다. 이는 우선순위가 높은 인간 중심 요소를 식별하기 위한 것이다.
• 이 프레임워크는 참조 맵, 요구사항 카탈로그, 개념적 모델링 언어의 3단계로 구성되어 있다.
• 요구사항 카탈로그에는 사용자, 모델, 데이터와 관련된 요구사항을 도출하기 위한 구조화된 프롬프트와 카테고리가 포함되어 있다.
• 개념적 모델링 레이어는 인간 중심 요구사항과 시스템 구성 요소 간의 관계를 표현하기 위해 시각적 모델링을 사용한다.
• 사례 연구를 통해 평가되었으며, 이는 360도 VR 영상 품질 향상에 인공지능 기반 접근을 적용한 것으로, 사용자 경험과 포용성에 중점을 두었다.
• 반복적인 요구사항 공_ing 과정이 적용되었으며, 일부 요구사항은 모델 테스트 이후에야 도출되는 것으로 나타나, 지속적인 요구사항 도출의 필요성을 강조했다.

Figure 1: Our proposed framework to elicit and model requirements for human-centered AI.

실험 결과

연구 질문

• RQ1 어떻게 인간 중심 인공지능 지침을 인공지능 소프트웨어 개발의 초기 단계에서 실행 가능한 요구사항으로 체계적으로 변환할 수 있는가?
• RQ2 요구사항 공_ing 단계에서 가장 중요한 인간 중심 요소는 무엇인가? 예를 들어 연령, 성별, 문화, 정서 등.
• RQ3 개념적 모델링 접근법은 인간 중심 인공지능 요구사항의 명확성과 추적 가능성을 어떻게 향상시킬 수 있는가?
• RQ4 프레임워크는 모델 훈련 또는 테스트 이후에야 도출되는 요구사항을 어느 정도 식별하는 데 지원하는가?
• RQ5 기존의 요구사항 공_ing 접근법과 비교할 때, 이 프레임워크는 인공지능 시스템에서 비기술적 인간 중심 요소를 얼마나 잘 포착하는가?

주요 결과

• RE4HCAI 프레임워크는 360도 VR 영상 향상 시스템을 위한 인간 중심 요구사항을 식별하고 모델링하는 데 성공했으며, 특히 사용자 경험과 포용성에 중점을 두었다.
• 특히 모델 행동과 데이터 편향과 관련된 일부 요구사항은 인공지능의 투명성 부족으로 인해 초기 단계에서 완전히 명시되지 못했으며, 이는 반복적 요구사항 공_ing 접근이 필요함을 시사했다.
• 전문가 설문 조사와 문헌 분석 결과, 정서, 성격, 사회경제적 상태와 같은 요소들이 현재의 인공지능 시스템 요구사항 공_ing 관행에서 자주 간과됨을 밝혀냈다.
• 개념적 모델링 레이어는 인간의 필요와 시스템 구성 요소 간의 복잡한 관계를 효과적으로 시각화하여 이해도 향상과 이해 조율를 향상시켰다.
• 사례 연구는 요구사항 공_ing 단계에서 인간 중심 요소를 조기에 통합할 경우 더 책임감 있고 포용적이며 품질이 높은 인공지능 소프트웨어 결과를 이끌 수 있음을 입증했다.
• 프레임워크는 기존의 요구사항 공_ing 관행의 한계를 드러내었으며, 특히 인공지능 개발에서 비기술적 인간 중심 요소를 위한 체계적 지원의 부족함을 확인했다.

Figure 2: Human-centered needs for AI and the frequency of survey participants who selected them.