[論文レビュー] Towards a Data-Driven Requirements Engineering Approach: Automatic Analysis of User Reviews

Jialiang Wei, Anne-Lise Courbis+4 more|arXiv (Cornell University)|Jun 30, 2022

Web Data Mining and Analysis参考文献 16被引用数 4

ひとこと要約

本論文は、最新のフランス語BERTモデルであるファインチューニング済みCamemBERTを用いて、健康・フィットネスアプリのフランス語ユーザーレビューを、4つのラベル—スコア、バグ報告、機能要件要請、ユーザーエクスペリエンス—に自動分類するデータ駆動型要件工学手法を提案する。本手法は、6,000件の手動アノテーション済みレビューから構成される新規マルチラベルデータセットで有望なパフォーマンスを達成し、ユーザーフィードバックからの自動的機能要件要請検出の実現可能性を示している。

ABSTRACT

6000 French user reviews from three applications on Google Play (Garmin Connect, Huawei Health, Samsung Health) are labelled manually. We selected four labels: rating, bug report, feature request and user experience. Ratings are simple text which express the overall evaluation to that app, including praise, criticism, or dissuasion. Bug reports show the problems that users have met while using the app, like loss of data, crash of app, connection error, etc. Feature requests reflect the demande of users on new function, new content, new interface, etc. In user experience, users describe their experience in relation to the functionality of the app, how does certain functions be helpful. As we can observe from the following table, that shows examples of labelled user reviews, each review belongs to one or more categories. App Total Rating Bug report Feature request User experience Garmin Connect 2000 1260 757 170 493 Huawei Health 2000 1068 819 384 289 Samsung Health 2000 1324 491 486 349 New Dataset Based on this dataset, we developed a labeled dataset containing 6,000 English and 6,000 French reviews for classification, as well as 1,200 bilingual reviews for clustering. The new dataset has been made publicly available on Zenodo at the following link: https://zenodo.org/records/11066414

研究の動機と目的

• 要件工学における自然言語処理タスク用に、公開可能で高品質なフランス語ユーザーレビューデータセットが不足しているという問題に対処すること。
• アプリストアのユーザーレビューから行動可能な要件を抽出する、自動的でデータ駆動型のアプローチを開発すること。
• CamemBERTが、健康・フィットネス分野のフランス語アプリレビューにおけるマルチラベル分類にどの程度有効であるかを評価すること。
• スケーラブルで自動化された分析を通じて、ソフトウェア開発チームが機能要件要請の優先順位をつけること、要件抽出プロセスを改善することを支援すること。

提案手法

• 著者らは、Google Play上で3つの健康・フィットネスアプリ—Garmin Connect、Huawei Health、Samsung Health—のフランス語ユーザーレビューを6,000件収集した。
• 各レビューは、最大4つのラベル—スコア、バグ報告、機能要件要請、ユーザーエクスペリエンス—を手動でアノテートし、マルチラベル分類用データセットを構築した。
• アノテート済みデータセット上でファインチューニングされたCamemBERTベースのディープラーニングモデルを、マルチラベルテキスト分類に用いた。
• モデルは、文脈的な意味を捉えるために双方向トランスフォーマー構造を活用し、複雑なユーザーフィードバックの正確な分類を可能にした。
• 今後のフランス語NLPおよびデータ駆動型要件工学分野の研究を支援するため、データセットを公開した。

実験結果

リサーチクエスチョン

• RQ1 CamemBERTは、要件工学に関連する複数のラベルにフランス語アプリレビューを効果的に分類できるか？
• RQ2 ファインチューニング済みCamemBERTモデルは、新規に作成されたフランス語ユーザーレビューデータセットにおけるマルチラベル分類タスクでどの程度の性能を示すか？
• RQ3 ユーザーレビューの自動分析は、健康・フィットネスアプリにおける機能要件要請の特定をどの程度支援できるか？
• RQ4 現在のデータセットには、フランス語アプリレビューにおいて顕著なギャップが存在しており、新規データセットの作成がこの分野におけるNLPモデルの性能向上に寄与するか？

主な発見

• 著者らは、3つの健康・フィットネスアプリからのフランス語ユーザーレビュー6,000件を含むマルチラベルデータセットを成功裏に作成・公開し、文献における重要な空白を埋めた。
• CamemBERTベースのモデルは、スコア、バグ報告、機能要件要請、ユーザーエクスペリエンスの4つのカテゴリへのユーザーレビュー分類において、強力なパフォーマンスを達成した。
• データセットの分析によると、Garmin Connectの2,000件のレビューのうち757件が機能要件要請としてラベル付けされており、ユーザー主導の機能要請の多さが示された。
• 本研究は、CamemBERTのようなディープラーニングモデルが、特に機能要件要請の文脈において、非構造化ユーザーフィードバックから要件を効果的に抽出できることを示した。
• データセットのマルチラベル性により、ラベルの重複を許容でき、現実のユーザーフィードバックの複雑さを反映しており、ユーザーのニーズを洗練された方法で分析可能である。
• 結果から、ユーザーレビューの自動分析は、要件抽出における人的作業を顕著に削減し、ソフトウェアの進化プロセスを改善できる可能性があると示唆された。