[논문 리뷰] On the Impact of the Model-based Representation of Inconsistencies to Manual Reviews: Results from a Controlled Experiment - Extended Version

Marian Daun, Jennifer Brings외 1명|arXiv (Cornell University)|2017. 07. 10.

Software Engineering Research참고 문헌 36인용 수 6

한 줄 요약

이 연구는 통제된 실험을 통해 불일치 요구사항에 대한 두 가지 모델 기반 표현 방식—분리된 다이어그램과 주석이 포함된 통합 다이어그램—을 평가한다. 결과는 통합 다이어그램이 효율성을 높이되 효과성은 유지함으로써 수동 요구사항 검토에서 불일치 탐지의 간소화를 지원함을 보여준다.

ABSTRACT

To ensure fulfilling stakeholder wishes, it is crucial to validate the documented requirements. This is often complicated by the fact that the wishes and intentions of different stakeholders are somewhat contradictory, which manifests itself in inconsistent requirements. To aid requirements engineers in identifying and resolving inconsistent requirements, we investigated the usefulness for manual reviews of two different model-based representation formats for inconsistent requirements; one that represent the inconsistent requirements in separate diagrams and one that represents them integrated into one diagram using annotations. The results from a controlled experiment show that the use of such integrated review diagrams can significantly increase efficiency of manual reviews, without sacrificing effectiveness.

연구 동기 및 목표

• 불일치 요구사항에 대한 다양한 모델 기반 표현 방식이 수동 검토 과정에 미치는 영향을 조사하기 위해.
• 불일치를 식별하는 데 있어 분리된 다이어그램과 주석이 포함된 통합 다이어그램 간의 효율성과 효과성을 비교하기 위해.
• 모델 기반 표현 방식이 이해관계자 간의 갈등을 더 효과적으로 해결하는 데 요구사항 엔지니어를 지원할 수 있는지 평가하기 위해.
• 요구사항 공학에서 시각화 형식의 영향을 수동 검토 성능에 대해 실증적 증거를 제공하기 위해.

제안 방법

• 요구사항 공학 전문가를 대상으로 통제된 실험을 실시하여, 분리된 다이어그램과 주석이 포함된 통합 다이어그램이라는 두 가지 시각화 형식을 비교하였다.
• 두 가지 모델 기반 표현 방식을 설계하였는데, 하나는 불일치 요구사항을 위한 별도의 다이어그램을 사용하고, 다른 하나는 시각적 주석을 사용해 불일치를 하나의 다이어그램에 통합하는 방식이었다.
• 두 형식 모두 검토 시간, 탐지된 불일치 수, 검토 정확도에 대한 데이터를 수집하였다.
• 두 표현 방식 간 성능 지표를 비교하기 위해 통계 분석을 사용하였다.
• 현실적인 검토 조건을 확보하기 위해 요구사항 공학 경험이 있는 참가자를 선발하였다.
• 생태학적 타당성을 확보하기 위해 실제 요구사항 시나리오를 기반으로 표준화된 검토 과제를 설계하였다.

실험 결과

연구 질문

• RQ1 주석이 포함된 통합 다이어그램을 사용할 경우, 분리된 다이어그램에 비해 수동 검토의 효율성이 향상되는가?
• RQ2 불일치 탐지의 정도로 측정되는 수동 검토의 효과성은 통합 다이어그램을 사용할 경우 유지되거나 향상되는가?
• RQ3 다양한 모델 기반 표현 방식이 불일치 요구사항의 수동 검토를 완료하는 데 소요되는 시간에 어떤 영향을 미치는가?
• RQ4 참가자들이 불일치를 식별하는 데 있어 통합 다이어그램을 분리된 다이어그램보다 더 유용하게 느끼는 정도는 어느 정도인가?

주요 결과

• 주석이 포함된 통합 다이어그램은 분리된 다이어그램에 비해 검토 시간을 크게 단축시켜 효율성이 향상됨을 보여주었다.
• 통합 다이어그램을 사용할 경우에도 불일치 탐지율이 높게 유지되어 효과성에 손상이 없음을 확인하였다.
• 참가자들은 불일치 식별에 있어 통합 다이어그램을 사용할 때 더 높은 사용성과 명확성 인식을 보였다.
• 결과는 통합 모델 기반 표현 방식이 정확도를 훼손하지 않으면서도 더 빠르고 직관적인 수동 검토를 지원함을 시사한다.
• 통계 분석을 통해 통합 다이어그램 형식이 검토 효율성 측면에서 유의미한 우월성을 보임을 확인하였다.
• 이 연구는 불일치의 통합 시각화 표현이 요구사항 공학에서 수동 검토 과정을 향상시킬 수 있음을 실증적 증거로 제시한다.