[논문 리뷰] Using Latent Semantic Analysis to Identify Quality in Use (QU) Indicators from User Reviews

Wendy Tan Wei Syn, Chih How Bong외 1명|arXiv (Cornell University)|2015. 03. 25.

Sentiment Analysis and Opinion Mining참고 문헌 3인용 수 12

한 줄 요약

이 논문은 사용자 리뷰를 세 가지 사용자 품질(QU) 지표—효능성, 효율성, 위험 회피성—로 자동 분류하기 위해 잠재의미분석(LSA) 기반 방법을 제안한다. 이는 리뷰 텍스트와 QU 측정 척도를 공통된 의미적 공간에 투영하여 수행된다. 이 방법은 비정형 리뷰에서 QU 지표를 예측할 때 평균 F-측도 0.3627을 달성한다.

ABSTRACT

The paper describes a novel approach to categorize users' reviews according to the three Quality in Use (QU) indicators defined in ISO: effectiveness, efficiency and freedom from risk. With the tremendous amount of reviews published each day, there is a need to automatically summarize user reviews to inform us if any of the software able to meet requirement of a company according to the quality requirements. We implemented the method of Latent Semantic Analysis (LSA) and its subspace to predict QU indicators. We build a reduced dimensionality universal semantic space from Information System journals and Amazon reviews. Next, we projected set of indicators' measurement scales into the universal semantic space and represent them as subspace. In the subspace, we can map similar measurement scales to the unseen reviews and predict the QU indicators. Our preliminary study able to obtain the average of F-measure, 0.3627.

연구 동기 및 목표

• 소프트웨어 품질 평가를 위해 막대한 양의 사용자 리뷰를 수작업으로 분석하는 과제를 해결하기 위해.
• ISO에서 정의한 사용자 품질(QU) 지표인 효능성, 효율성, 위험 회피성을 자동으로 분류하기 위해.
• 각 소프트웨어에 대해 레이블이 부여된 학습 데이터에 의존하지 않고도 의미 분석을 활용해 QU 지표를 유추할 수 있는 확장 가능한 데이터 기반 방법을 개발하기 위해.
• 다양한 텍스트 소스(정보 시스템 저널 및 아마존 리뷰)에서 유도된 보편적인 의미 공간을 구축하여 소프트웨어 도메인 간 전이 학습을 가능하게 하기 위해.

제안 방법

• 정보 시스템 저널 논문과 아마존 제품 리뷰의 조합을 대상으로 잠재의미분석(LSA)을 사용해 차원을 감소시킨 보편적인 의미 공간을 구축한다.
• 세 가지 QU 지표(효능성, 효율성, 위험 회피성)의 측정 척도를 동일한 보편적 의미 공간에 벡터로 투영한다.
• 동일한 LSA 변환을 적용하여 사용자 리뷰를 동일한 의미 공간에 매핑함으로써 의미 일치를 확보한다.
• 투영된 리뷰 벡터와 QU 지표 벡터 간의 코사인 유사도를 사용하여 리뷰가 어떤 QU 카테고리에 속하는지 예측한다.
• 레이블이 부여된 리뷰의 초보적 데이터셋을 사용해 모델을 훈련하고 평가하며, F-측도를 통해 성능을 측정한다.

실험 결과

연구 질문

• RQ1 LSA는 사용자 리뷰를 ISO에서 정의한 세 가지 사용자 품질(QU) 지표인 효능성, 효율성, 위험 회피성으로 효과적으로 매핑할 수 있는가?
• RQ2 다양한 텍스트 소스(예: 학술 저널과 소비자 리뷰)에서 유도된 보편적 의미 공간이 정확한 QU 지표 예측을 얼마나 잘 지원하는가?
• RQ3 정보 시스템 문헌과 아마존 리뷰의 혼합 코퍼스로 훈련된 LSA 기반 방법이 새로운 사용자 리뷰에 얼마나 잘 일반화되는가?
• RQ4 비정형 사용자 피드백에서 QU 지표를 예측할 때 이 방법의 F-측도 성능은 어떠한가?

주요 결과

• 제안된 LSA 기반 방법은 사용자 리뷰에서 세 가지 사용자 품질(QU) 지표를 예측할 때 평균 F-측도 0.3627을 달성했다.
• 이 방법은 사용자 리뷰와 QU 측정 척도를 공통된 의미 공간에 매핑하여 의미 유사도 기반 분류를 가능하게 했다.
• 이질적인 소스(정보 시스템 저널과 아마존 리뷰)에서 유도된 보편적 의미 공간의 사용은 의미 표현의 도메인 간 전이를 가능하게 했다.
• 결과는 LSA를 활용해 비정형 사용자 피드백에서 QU 지표를 자동으로 유추할 수 있음을 보여주며, 수작업 리뷰 분석에 대한 의존도를 감소시킬 수 있음을 시사한다.