[論文レビュー] Towards Resolving Software Quality-in-Use Measurement Challenges

Issa Atoum, Chih How Bong+1 more|arXiv (Cornell University)|Jan 30, 2015

Software Engineering Research参考文献 54被引用数 12

ひとこと要約

本論文は、eラーニングおよびモバイルアプリケーション分野における品質の使用に関する測定の課題に取り組み、ユーザーのフィードバックに対するセンチメント分析を活用して品質の使用を予測する、画期的なフレームワークを提案する。既存の複雑で不完全なモデルの限界を克服する。予備的なトピック予測結果を通じて、主観的または臨機応変なユーザー意思決定の代替として、データ駆動型の代替案としての妥当性が示された。

ABSTRACT

Software quality-in-use comprehends the quality from user's perspectives. It has gained its importance in e-learning applications, mobile service based applications and project management tools. User's decisions on software acquisitions are often ad hoc or based on preference due to difficulty in quantitatively measure software quality-in-use. However, why quality-in-use measurement is difficult? Although there are many software quality models to our knowledge, no works surveys the challenges related to software quality-in-use measurement. This paper has two main contributions; 1) presents major issues and challenges in measuring software quality-in-use in the context of the ISO SQuaRE series and related software quality models, 2) Presents a novel framework that can be used to predict software quality-in-use, and 3) presents preliminary results of quality-in-use topic prediction. Concisely, the issues are related to the complexity of the current standard models and the limitations and incompleteness of the customized software quality models. The proposed framework employs sentiment analysis techniques to predict software quality-in-use.

研究の動機と目的

• ISO SQuaREシリーズおよび関連モデルで定義されたソフトウェアの品質の使用を測定する上で生じる主な課題を特定・分析すること。
• 定量的評価を阻害する、現在のソフトウェア品質モデルの複雑さと不完全さに対処すること。
• 自然言語処理技術を用いて、ソフトウェアの品質の使用を予測する、画期的でスケーラブルなフレームワークを開発すること。
• 予備的なトピックモデリングを通じて、センチメント分析を用いた品質の使用予測の妥当性を評価すること。

提案手法

• フレームワークは、レビューおよび評価など、ユーザーが生成したフィードバックから品質の使用に関する認識を抽出するためにセンチメント分析技術を採用する。
• ユーザーのセンチメントパターンを、ISO SQuaRE基準で定義された品質の使用属性にマッピングすることで、自動評価を可能にする。
• 自然言語処理（NLP）パイプラインを用いて、テキストフィードバックを分析し、機能または属性レベルでのセンチメントを分類する。
• ユーザーのコメントから繰り返し現れる品質の使用のトピックを特定するために、トピックモデリングのコンponentを適用する。
• フレームワークは、ISO SQuaREおよび既存のソフトウェア品質モデルの知見を統合することで、確立された品質次元と整合性を保つ。
• eラーニングおよびモバイルサービスアプリケーションのユーザーのフィードバックデータセットを用いて、予備的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 既存のモデルおよび基準を用いてソフトウェアの品質の使用を測定する上で、主な課題は何か？
• RQ2 ユーザーのフィードバックからソフトウェアの品質の使用を予測するために、センチメント分析をどのように効果的に適用できるか？
• RQ3 NLPおよびセンチメント分析に基づくフレームワークが、品質の使用測定の客観性およびスケーラビリティをどの程度向上できるか？
• RQ4 フレームワークを用いた予測された品質の使用トピックは、ユーザーのフィードバックを手作業で分析した結果とどの程度一致するか？

主な発見

• 研究では、既存のソフトウェア品質モデルがしばしば複雑すぎたり不完全すぎたりするため、品質の使用の評価が一貫性なく主観的になりがちなことが判明した。
• センチメント分析技術は、ユーザーのフィードバックから品質の使用の認識を自動的に検出する上で有望であることが示され、手作業による評価への依存を低減できる。
• 提案されたフレームワークは、ユーザーのセンチメントを品質の使用属性に成功してマッピングし、実世界の応用状況において実現可能性を示した。
• 予備的な結果から、本フレームワークを用いたトピック予測が、ユーザーレビューから使いやすさや信頼性といった主要な品質次元を捉えていることが示された。
• ISO SQuaRE基準をフレームワークに統合することで、認識された品質基準と整合性が保たれ、解釈可能性と信頼性が向上した。