[논문 리뷰] ELICA: An Automated Tool for Dynamic Extraction of Requirements Relevant Information

Zahra Shakeri Hossein Abad, Vincenzo Gervasi외 2명|arXiv (Cornell University)|2018. 07. 21.

Software Engineering Research참고 문헌 21인용 수 4

한 줄 요약

ELICA는 도메인 문서와 이해관계자 간 상호작용에서 요구사항 관련 정보를 동적으로 추출하고 레이블링하기 위해 가중 유한 상태 변환기(WFSTs)와 통계적 언어 모델을 사용하는 자동화된 실시간 도구이다. 분석가가 핵심 용어를 식별하고 발화자 의도(신뢰도, 어조, 감정)를 분석하며, 시각화된, 내보낼 수 있는 스니펫을 제공함으로써 분석가의 이해를 향상시킨다. 이는 실제 상황에서 95% 유의수준(p=0.02)으로 맥락적 어휘 연관성을 관련성 지표로 검증한 바 있다.

ABSTRACT

Requirements elicitation requires extensive knowledge and deep understanding of the problem domain where the final system will be situated. However, in many software development projects, analysts are required to elicit the requirements from an unfamiliar domain, which often causes communication barriers between analysts and stakeholders. In this paper, we propose a requirements ELICitation Aid tool (ELICA) to help analysts better understand the target application domain by dynamic extraction and labeling of requirements-relevant knowledge. To extract the relevant terms, we leverage the flexibility and power of Weighted Finite State Transducers (WFSTs) in dynamic modeling of natural language processing tasks. In addition to the information conveyed through text, ELICA captures and processes non-linguistic information about the intention of speakers such as their confidence level, analytical tone, and emotions. The extracted information is made available to the analysts as a set of labeled snippets with highlighted relevant terms which can also be exported as an artifact of the Requirements Engineering (RE) process. The application and usefulness of ELICA are demonstrated through a case study. This study shows how pre-existing relevant information about the application domain and the information captured during an elicitation meeting, such as the conversation and stakeholders' intentions, can be captured and used to support analysts achieving their tasks.

연구 동기 및 목표

• 분석가가 도메인 지식 부족과 기억 한계로 인해 요구사항 수거 과정에서 요구사항이 불완전하거나 부정확해지는 문제를 해결하기 위해.
• 요구사항 수거 중 실시간으로 맥락 인식 지원을 제공하여 인터뷰 중 오해의 소지가 되는 정보의 영향을 줄이기 위해.
• 분석가의 효과성을 높이기 위해 도메인 지식을 동적으로 노출하고, 이해관계자 상호작용에서 신뢰도, 어조, 감정과 같은 비언어적 신호를 캡처하기 위해.
• 텍스트 및 비언어적 데이터를 통합하여 추적 가능하고 협업에 적합한 구조화된 내보낼 수 있는 자료로 제공하는 도구 기반의 상호작용 환경을 제공하기 위해.
• 실제 소프트웨어 요구사항 수거 상황에서 실시간 자동 추출의 타당성과 효과성을 입증하기 위해.

제안 방법

• 요구사항 추출을 위한 민첩하고 동적인 자연어 처리를 가능하게 하기 위해 가중 유한 상태 변환기(WFSTs)를 사용하여 가변 길이의 텍스트 스니펫을 모델링한다.
• 현재 대화와의 어휘 연관성을 기반으로 도메인 문서와 상호작용 녹취록에서 관련 용어를 식별하고 순위를 매기기 위해 통계적 언어 모델(LMs)을 적용한다.
• 실시간 처리를 지원하기 위해 음성 대화(제3자 전사 서비스를 통한)와 텍스트(예: 채팅, 이메일) 등의 다중 모odal 입력을 통합한다.
• 자동 의도 인식 모델을 사용하여 신뢰도 수준, 분석적 어조, 정서 상태와 같은 비언어적 신호를 분석함으로써 이해관계자 입력의 해석을 풍부하게 한다.
• 핵심 용어를 강조하고 의도 메타데이터를 표시하여 추출된 정보를 시각화함으로써 분석가가 관련성과 어조를 신속하게 평가할 수 있도록 한다.
• 모든 추출된 정보, 즉 레이블이 부여된 스니펫과 의도 데이터를 PDF, JSON, CSV 등 다양한 형식으로 내보내어 요구사항 공학 과정에서 공식 자료로 활용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 추출된 스니펫과 관련 용어 사이의 맥락적 어휘 연관성이 요구사항 정보 추출 정확도에 얼마나 기여하는가?
• RQ2 익숙하지 않은 이해관계자와의 요구사항 수거 회의 중 실시간으로 동적 추출된 도메인 관련 정보가 분석가의 이해를 얼마나 향상시키는가?
• RQ3 발화자 신뢰도, 어조, 감정과 같은 비언어적 신호는 얼마나 효과적으로 캡처되고 활용되어 이해관계자 입력의 해석을 지원하는가?
• RQ4 도메인 레포지터리 지식과 실시간 상호작용 데이터의 통합이 수거된 요구사항의 완전성과 관련성에 얼마나 기여하는가?
• RQ5 대규모 도메인 문서를 포함한 긴 복잡한 요구사항 수거 세션 중에도 도구가 실시간 반응성을 유지할 수 있는가?

주요 결과

• 맥락적 어휘 연관성이 스니펫의 관련성에 영향을 주지 않는다는 귀무가설은 p값 0.02에서 기각되었으며, 이는 어휘 겹침이 관련성에 통계적으로 유의미한 지표임을 시사한다.
• ELICA는 시뮬레이션된 실제 세계 인터뷰 중 실시간으로 관련 정보를 처리하고 추출하여 대화 흐름을 따라가며 작동한다.
• 도구는 추출된 스니펫 내 핵심 용어를 효과적으로 식별하고 강조하며, 시각적 신호와 레이블이 부여된 의도 데이터(예: 신뢰도, 어조)를 지원한다.
• 모든 추출된 정보를 PDF, JSON, CSV 등 다양한 형식으로 내보낼 수 있어 추적 가능성과 협업을 위한 공식 RE 자료로 활용할 수 있다.
• 사례 연구를 통해 ELICA가 도메인 문서(예: RE Essentials 책)와 실시간 상호작용 데이터를 통합하여 맥락적으로 관련성이 높고 분석가가 바로 사용할 수 있는 정보를 제공할 수 있음을 확인했다.
• 분석가의 피드백을 기반으로 추출 및 의도 인식 모듈을 반복적으로 개선하기 위한 피드백 수집 메커니즘이 구축되어 있다.