[論文レビュー] Using Latent Semantic Analysis to Identify Quality in Use (QU) Indicators from User Reviews

Wendy Tan Wei Syn, Chih How Bong+1 more|arXiv (Cornell University)|Mar 25, 2015

Sentiment Analysis and Opinion Mining参考文献 3被引用数 12

ひとこと要約

本稿では、ユーザーレビューのテキストとQU測定スケールを共通の意味的空間に投影することで、潜在的意味解析（LSA）に基づく手法を提案し、品質の使用における3つの指標（効果性、効率性、リスクからの自由）を自動分類する。この手法は、非構造化レビューからのQU指標予測において平均F値0.3627を達成した。

ABSTRACT

The paper describes a novel approach to categorize users' reviews according to the three Quality in Use (QU) indicators defined in ISO: effectiveness, efficiency and freedom from risk. With the tremendous amount of reviews published each day, there is a need to automatically summarize user reviews to inform us if any of the software able to meet requirement of a company according to the quality requirements. We implemented the method of Latent Semantic Analysis (LSA) and its subspace to predict QU indicators. We build a reduced dimensionality universal semantic space from Information System journals and Amazon reviews. Next, we projected set of indicators' measurement scales into the universal semantic space and represent them as subspace. In the subspace, we can map similar measurement scales to the unseen reviews and predict the QU indicators. Our preliminary study able to obtain the average of F-measure, 0.3627.

研究の動機と目的

• 膨大な量のユーザーレビューを手作業で分析するというソフトウェア品質評価の課題に対処すること。
• ISOで定義された品質の使用（QU）指標（効果性、効率性、リスクからの自由）に、ユーザーレビューを自動的に分類すること。
• 各ソフトウェアのラベル付き学習データに依存せずに、意味解析を活用してQU指標を推定するスケーラブルでデータ駆動型の手法を開発すること。
• 情報システム学術誌とアマゾンレビューという多様なテキストソースから、普遍的な意味的空間を構築し、ソフトウェアドメイン間で転移学習を可能にすること。

提案手法

• 情報システム学術誌の論文とアマゾン製品レビューの組み合わせを用いて、潜在的意味解析（LSA）を適用し、次元削減された普遍的意味的空間を構築する。
• 品質の使用指標（効果性、効率性、リスクからの自由）の測定スケールを、同じ普遍的意味的空間にベクトルとして投影する。
• 同じLSA変換を適用することで、ユーザーレビューを同じ意味的空間にマッピングし、意味的整合性を確保する。
• 投影されたレビューのベクトルとQU指標のベクトルとの間のコサイン類似度を用いて、レビューがどのQUカテゴリに属するかを予測する。
• ラベル付きレビューの予備データセットを用いてモデルを訓練・評価し、F値を指標として性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 LSAは、ISOで定義された3つの品質の使用指標（効果性、効率性、リスクからの自由）に、ユーザーレビューを効果的にマッピングできるか？
• RQ2 学術誌や消費者レビューなどの多様なテキストソースから得られる普遍的意味的空間は、どの程度正確にQU指標の予測を支援できるか？
• RQ3 IS文献とアマゾンレビューの混合コーパスで学習したLSAベースの手法は、未観測のユーザーレビューにどの程度一般化できるか？
• RQ4 非構造化ユーザーフィードバックからのQU指標予測において、この手法のF値はどの程度の性能を示すか？

主な発見

• 提案されたLSAベースの手法は、ユーザーレビューからの3つの品質の使用（QU）指標予測において、平均F値0.3627を達成した。
• 手法は、ユーザーレビューとQU測定スケールを共通の意味的空間にマッピングし、意味的類似度に基づく分類を可能にした。
• 異種のソース（IS学術誌とアマゾンレビュー）から構築した普遍的意味的空間の活用により、意味的表現のドメイン間転送が可能になった。
• 結果から、LSAを用いることで、手作業によるレビュー分析に依存することなく、非構造化ユーザーフィードバックからQU指標を自動的に推定することが可能であることが示された。