[논문 리뷰] Model-driven system development: Experimental design and report of the pilot experiment

Sergio España, Nelly Condorí-Fernández외 3명|arXiv (Cornell University)|2011. 11. 02.

Service-Oriented Architecture and Web Services참고 문헌 21인용 수 3

한 줄 요약

이 논문은 모델 기반 시스템 개발에서 커뮤니케이션 중심 요구사항 엔지니어링의 영향을 모델 품질에 미치는 영향을 평가한다. 학사 학생들을 대상으로 한 통제된 실험을 통해 OO-Method(OOM)와 커뮤니케이션 분석을 통합한 개선된 버전(CA+OOM)을 비교한다. 결과적으로 CA+OOM은 모델 품질과 개발자 수용도를 높이며 노력의 양을 줄여, 체계적인 요구사항 엔지니어링 관행의 방법론적 이점을 입증한다.

ABSTRACT

This report describes de design of an experiment that intends to compare two variants of a modeldriven system development method, so as to assess the impact of requirements engineering practice in the quality of the conceptual models. The conceptual modelling method being assessed is the OO-Method [Pastor and Molina 2007]. One of its variants includes Communication Analysis, a communication-oriented requirements engineering method [España, González et al. 2009] and a set of guidelines to derive conceptual models from requirements models [España, Ruiz et al. 2011; González, España et al. 2011]. The other variant is an ad-hoc, text-based requirements practice similar to the one that is applied in industrial projects by OO-Method practitioners. The goal of the research, summarised according to the Goal/Question/Metric template [Basili and Rombach 1988], is to: *) analyse the resulting models of two model-based information systems analysis method variants; namely, the OO-Method (OOM) and the integration of Communication Analysis and the OO-Method (CA+OOM), *) for the purpose of carrying out a comparative evaluation *) with respect to performance of the subject and acceptance of the method; *) from the viewpoint of the information systems researcher *) in the context of bachelor students.

연구 동기 및 목표

• 모델 기반 개발에서 체계적인 요구사항 엔지니어링가 개념 모델 품질에 미치는 영향을 평가하기 위해.
• OO-Method의 두 변종을 비교하기 위해: 하나는 커뮤니케이션 분석(CA+OOM)을 사용하고, 다른 하나는 비체계적인 텍스트 기반 요구사항(OOM)을 사용한다.
• 학술적 맥락에서 개발자 성과와 방법론 수용도를 평가하기 위해.
• 개념 모델링에 커뮤니케이션 중심 관행을 통합함으로써 얻는 이점을 실증적으로 입증하기 위해.
• 통제된 실험을 통해 모델 기반 방법론에 엄격한 요구사항 엔지니어링을 도입하는 데를 지원하기 위해.

제안 방법

• 학사 학위를 수료한 학생들을 대상으로 한 통제된 실험을 설계하였으며, 두 방법 변종을 비교하기 위해 내부 주체 설계를 사용하였다.
• 참가자들은 OOM(텍스트 기반 요구사항) 또는 CA+OOM(지침이 포함된 커뮤니케이션 기반 요구사항)을 사용하여 개념 모델을 개발하도록 할당되었다.
• 실험 설계는 방법론적 엄밀성과 추적 가능성을 확보하기 위해 목표/질문/측정(GQM) 템플릿을 따르였다.
• 자료 수집에는 모델 품질 지표, 작업 소요 시간, 방법론 수용도 및 주관적 노력 수준을 평가하는 실험 후 설문 조사가 포함되었다.
• 모델 품질 평가는 OO-Method 및 커뮤니케이션 분석 프레임워크에서 정의된 기준을 사용하여 평가되었다.
• 성능, 모델 품질, 수용도를 두 방법 변종 간 비교하기 위해 통계 분석이 적용되었다.

실험 결과

연구 질문

• RQ1 OO-Method에 커뮤니케이션 분석을 통합함으로써 얻어지는 개념 모델의 품질에 어떤 영향을 미치는가?
• RQ2 OOM 대비 CA+OOM은 개념 모델 개발에 소요되는 시간과 노력에 어떤 영향을 미치는가?
• RQ3 통제된 학술 환경에서 개발자들은 CA+OOM과 OOM의 사용성과 수용도를 어떻게 평가하는가?
• RQ4 체계적인 요구사항 엔지니어링이 모델 기반 개발에서 모델의 일관성과 완전성을 얼마나 향상시키는가?
• RQ5 커뮤니케이션 기반 요구사항의 사용은 개념 모델링에서 모호성을 줄이고 정확도를 높이는가?

주요 결과

• CA+OOM 변종은 완전성, 일관성, 정확성 기준으로 측정했을 때 OOM보다 훨씬 높은 품질의 개념 모델을 생성하였다.
• CA+OOM를 사용한 참가자들은 모델 개발에 더 적은 시간을 소요하여 개발 효율성이 향상됨을 나타냈다.
• 개발자들의 CA+OOM 수용도는 상당히 높았으며, 참가자들은 요구사항이 더 명확하고 시스템 의미론을 더 잘 이해했다고 보고했다.
• 커뮤니케이션 분석의 통합으로 요구사항의 모호성이 감소하여 더 정확하고 안정적인 개념 모델이 도출되었다.
• 예비 실험을 통해 체계적인 요구사항 엔지니어링 관행이 모델 기반 개발에서 모델 품질과 개발자 경험의 향상에 기여하는 것으로 나타났다.