[논문 리뷰] Towards Resolving Software Quality-in-Use Measurement Challenges

Issa Atoum, Chih How Bong외 1명|arXiv (Cornell University)|2015. 01. 30.

Software Engineering Research참고 문헌 54인용 수 12

한 줄 요약

이 논문은 기존의 복잡하고 불완전한 모델의 한계를 극복하기 위해 사용자 피드백에 대한 정서 분석을 활용하여 사용자 중심 소프트웨어 품질을 예측하는 새로운 프레임워크를 제안함으로써 소프트웨어 품질-사용 측정의 과제를 다룹니다. 초보적 주제 예측 결과를 통해 이 접근법의 실현 가능성을 입증하며, 주관적 또는 비체계적인 사용자 결정의 대안으로 데이터 기반 접근을 제공합니다.

ABSTRACT

Software quality-in-use comprehends the quality from user's perspectives. It has gained its importance in e-learning applications, mobile service based applications and project management tools. User's decisions on software acquisitions are often ad hoc or based on preference due to difficulty in quantitatively measure software quality-in-use. However, why quality-in-use measurement is difficult? Although there are many software quality models to our knowledge, no works surveys the challenges related to software quality-in-use measurement. This paper has two main contributions; 1) presents major issues and challenges in measuring software quality-in-use in the context of the ISO SQuaRE series and related software quality models, 2) Presents a novel framework that can be used to predict software quality-in-use, and 3) presents preliminary results of quality-in-use topic prediction. Concisely, the issues are related to the complexity of the current standard models and the limitations and incompleteness of the customized software quality models. The proposed framework employs sentiment analysis techniques to predict software quality-in-use.

연구 동기 및 목표

• ISO SQuaRE 시리즈 및 관련 모델에서 정의한 소프트웨어 품질-사용 측정의 핵심 과제를 특정하고 분석하는 것.
• 현재 소프트웨어 품질 모델의 복잡성과 불완전성으로 인해 정량적 평가가 어려운 문제를 해결하는 것.
• 자연어 처리 기법을 활용하여 소프트웨어 품질-사용을 예측하는 새로운 가용성 있는 프레임워크를 개발하는 것.
• 초보적 주제 모델링을 통해 정서 분석이 품질-사용 예측에 얼마나 실현 가능한지 평가하는 것.

제안 방법

• 프레임워크는 사용자 생성 피드백(예: 리뷰 및 평점)으로부터 품질-사용 인식을 추출하기 위해 정서 분석 기법을 활용합니다.
• 사용자 정서 패tern을 ISO SQuaRE 표준에서 정의한 품질-사용 특성에 매핑함으로써 자동 평가를 가능하게 합니다.
• 텍스트 피드백을 분석하고 기능 또는 특성 수준에서 정서를 분류하기 위해 자연어 처리(NLP) 파이프라인을 사용합니다.
• 사용자 댓글에서 반복적인 품질-사용 주제를 식별하기 위해 주제 모델링 구성 요소를 적용합니다.
• 기존의 ISO SQuaRE 및 소프트웨어 품질 모델의 발견을 통합하여 기존 품질 차원과의 일치를 확보합니다.
• 초보적 검증을 위해 e-러닝 및 모바일 서비스 애플리케이션의 사용자 피드백 데이터셋을 사용합니다.

실험 결과

연구 질문

• RQ1 기존 모델과 표준을 사용할 때 소프트웨어 품질-사용 측정의 주요 과제는 무엇인가요?
• RQ2 사용자 피드백으로부터 소프트웨어 품질-사용을 예측하기 위해 정서 분석을 어떻게 효과적으로 적용할 수 있나요?
• RQ3 NLP와 정서 분석 기반의 프레임워크가 품질-사용 측정의 객관성과 확장성에 얼마나 기여할 수 있나요?
• RQ4 프레임워크를 통해 예측한 품질-사용 주제는 사용자 피드백의 수동 분석에서 유도된 주제와 어떻게 비교될 수 있나요?

주요 결과

• 기존 소프트웨어 품질 모델이 종종 너무 복잡하거나 불완전하여 품질-사용 평가가 일관성 없고 주관적인 결과를 초래한다는 점을 규명했습니다.
• 정서 분석 기법이 사용자 피드백으로부터 품질-사용 인식을 자동으로 탐지하는 데 유망한 가능성을 보이며, 수동 평가에 대한 의존도를 감소시킵니다.
• 제안된 프레임워크는 사용자 정서를 품질-사용 특성에 성공적으로 매핑하여 실제 적용 환경에서의 실현 가능성을 입증했습니다.
• 초보적 결과는 프레임워크를 활용한 주제 예측이 사용성 및 신뢰성과 같은 핵심 품질 차원을 사용자 리뷰에서 잘 포착한다는 것을 시사합니다.
• ISO SQuaRE 기준을 프레임워크에 통합함으로써 인정받는 품질 기준과의 일치를 확보하여 해석 가능성과 신뢰성을 향상시켰습니다.