[논문 리뷰] Towards Artefact-based Requirements Engineering for Data-Centric Systems

Tatiana Chuprina, Daniel Méndez외 1명|arXiv (Cornell University)|2021. 03. 09.

Big Data and Business Intelligence참고 문헌 10인용 수 9

한 줄 요약

이 논문은 인공지능/기계학습(AI/ML) 컴포넌트에 의존하는 데이터 중심 시스템(DCSs)을 대상으로 하여, 데이터 기반 동작 및 비결정성에 중점을 두고, 예술물 기반 요구사항 엔지니어링(RE) 접근법을 제안한다. 새로운 요구사항 유형과 데이터 중심 예술물을 도입하며, 이러한 시스템의 RE에서 발생하는 산업적 과제를 보고하여, AI/ML이 집약된 개발 환경에서 모델링, 추상화 수준, 품질 요구사항 처리의 격차를 메우고자 한다.

ABSTRACT

Many modern software-intensive systems employ artificial intelligence / machine-learning (AI/ML) components and are, thus, inherently data-centric. The behaviour of such systems depends on typically large amounts of data processed at run-time rendering such non-deterministic systems as complex. This complexity growth affects our understanding on needs and practices in Requirements Engineering (RE). There is, however, still little guidance on how to handle requirements for such systems effectively: What are, for example, typical quality requirements classes? What modelling concepts do we rely on or which levels of abstraction do we need to consider? In fact, how to integrate such concepts into approaches for a more traditional RE still needs profound investigations. In this research preview paper, we report on ongoing efforts to establish an artefact-based RE approach for the development of datacentric systems (DCSs). To this end, we sketch a DCS development process with the newly proposed requirements categories and data-centric artefacts and briefly report on an ongoing investigation of current RE challenges in industry developing data-centric systems.

연구 동기 및 목표

• AI/ML 컴포넌트에 의존하는 데이터 중심 시스템(DCSs)의 요구사항 엔지니어링(RE)에서 체계적인 지침의 부족을 해결한다.
• 특히 데이터 기반 동작과 관련된 품질 요구사항을 고려하여, 데이터 중심 시스템 전용의 새로운 요구사항 유형을 식별하고 정의한다.
• 예술물 기반 모델링을 통합한 개념적 DCS 개발 프로세스를 개발하여 추적 가능성과 추상화 관리 개선을 도모한다.
• 실제 산업 환경에서 데이터 중심 시스템의 RE 과제를 조사하여 실용적 적용 가능성을 높인다.
• 전통적인 RE 프레임워크에 데이터 중심 예술물과 요구사항을 통합하여, 비결정성과 데이터 집약적인 시스템 개발을 지원한다.

제안 방법

• 데이터와 시스템 동작을 표현하기 위해 예술물 기반 모델링을 통합한 새로운 DCS 개발 프로세스를 제안한다.
• 데이터 중심 시스템에 특화된 새로운 요구사항 유형을 도입하며, 데이터 품질, 모델 성능, 데이터 라인저지 관련 고려사항을 포함한다.
• 데이터 흐름도, 데이터 라인저지 기록, 모델 훈련 로그와 같은 데이터 중심 예술물을 핵심 모델링 구성요소로 정의한다.
• 실제 DCS 개발에서 반복되는 RE 과제를 파악하기 위해 정성적 산업 설문 조사 방법을 적용한다.
• 제안된 예술물과 요구사항 유형을 기존 RE 프레임워크에 통합하여 추적 가능성과 추상화 제어를 지원한다.
• 피드백과 산업 통찰을 바탕으로 반복적으로 개선할 수 있도록 연구 초안 형식을 사용한다.

실험 결과

연구 질문

• RQ1 AI/ML 컴포넌트를 갖는 데이터 중심 시스템에 특화된 핵심 품질 요구사항 클래스는 무엇인가?
• RQ2 데이터 중심 예술물은 어떻게 체계적으로 모델링하고 요구사항 엔지니어링 라이프사이클에 통합할 수 있는가?
• RQ3 산업 현장의 전문가들이 데이터 중심 시스템의 요구사항을 관리하면서 겪는 주요 과제는 무엇인가?
• RQ4 기존의 RE 접근법은 어떻게 수정되어 AI/ML 시스템의 비결정성과 데이터 의존적 동작을 효과적으로 다룰 수 있는가?
• RQ5 DCS에서 데이터 흐름과 의존성을 효과적으로 표현하기 위해 필요한 추상화 수준과 모델링 구성요소는 무엇인가?

주요 결과

• 저자들은 데이터 중심 시스템에서 핵심 품질 요구사항 클래스로 데이터 품질, 모델 강건성, 데이터 라인저지, 모델 해석 가능성을 식별한다.
• 제안된 예술물 기반 접근법은 시스템 개발 단계 전반에 걸쳐 데이터 및 모델 의존성의 추적 가능성과 관리 능력을 향상시킨다.
• 산업 현장의 전문가들은 동적 데이터 의존성과 비결정성 동작으로 인해 데이터 집약적 시스템의 요구사항을 명시하고 진화시키는 데 상당한 과제를 겪는다.
• RE 프로세스에 데이터 중심 예술물을 통합함으로써 시스템 동작에 대한 이해가 향상되고 이해관계자 간 소통이 용이해진다.
• 연구는 전통적인 功能 및 비기능 요구사항을 초월하여 데이터 및 모델 라이프사이클 관련 고려사항을 포괄할 수 있는 새로운 모델링 구성요소의 필요성을 강조한다.
• 지속적인 조사 결과, 현재의 RE 관행에서 생산 환경에서의 데이터 품질 및 모델 성능 요구사항에 대한 체계적인 대응 부족이 드러났다.