[論文レビュー] RoseMatcher: Identifying the Impact of User Reviews on App Updates

Tianyang Liu, Chong Wang+5 more|arXiv (Cornell University)|Oct 19, 2022

Software Engineering Techniques and Practices被引用数 5

ひとこと要約

RoseMatcher は、意味的およびキーワードベースのマッチングを用いて、自然言語処理（NLP）に基づく新規なアプローチであり、ユーザーのレビューをアプリのリリースノートに自動的にマッチングする。この手法は、関連するレビューとリリースノートのペアを特定する際、71.8% のヒットレートを達成した。本研究では、ユーザーのレビューがアプリ更新において果たす8つの異なる役割を明らかにした。そのうちの大多数の関連フィードバックは、リリースノートが公開されてから1年以内に発生している。

ABSTRACT

$ extbf{Context}$: The release planning of mobile apps has become an area of active research, with most studies centering on app analysis through release notes in the Apple App Store and tracking user reviews via issue trackers. However, the correlation between these release notes and user reviews in App Store remains understudied. $ extbf{Objective}$: In this paper, we introduce $ extit{RoseMatcher}$, a novel automatic approach to match relevant user reviews with app release notes and identify matched pairs with high confidence. $ extbf{Methods}$: We collected 944 release notes and 1,046,862 user reviews from 5 mobile apps in the Apple App Store as research data to evaluate the effectiveness and accuracy of $ extit{RoseMatcher}$, and conducted deep content analysis on matched pairs. $ extbf{Results}$: Our evaluation shows that $ extit{RoseMatcher}$ can reach a hit ratio of 0.718 for identifying relevant matched pairs, and with the manual labeling and content analysis of 984 relevant pairs, we identify 8 roles that user reviews play in app updates according to the relationship between release notes and user reviews in the relevant matched pairs. $ extbf{Conclusions}$: Our findings indicate that both app development teams and users pay close attention to release notes and user reviews, with release notes typically addressing feature requests, bug reports, and complaints, and user reviews offering positive, negative, and constructive feedback. Overall, the study highlights the importance of the communication between app development teams and users in the release planning of mobile apps, with relevant reviews tending to be posed within a short period before and after the release of release notes, with the average time interval between the post time of release notes and user reviews being approximately one year.

研究の動機と目的

• Apple App Store におけるユーザーのレビューとアプリのリリースノートの間の相関関係を理解するうえでのギャップを埋めるため。
• 非公式なユーザーのレビューと公式なリリースノートの間で、高信頼度のマッチングを自動的に同定し、手作業によるラベル付け作業を削減するため。
• コンテンツおよび時間的パターンに基づいて、ユーザーのレビューがアプリ更新にどのように影響を与えたり、それに応答したりしているかを分析するため。
• リリースノートとレビューを通じて、アプリ開発チームとユーザーの間の相互応答性を調査するため。
• 特に、フィードバックのタイミングが更新のタイミングに対してどのように関連しているかを含めた、レビューとリリースノートの相互作用の時間的ダイナミクスを評価するため。

提案手法

• RoseMatcher は、意味的類似性とキーワードベースのマッチングを組み合わせ、各リリースノートに対して関連するユーザーのレビューを同定する。
• 文書埋め込みを用いた意味的類似性マッチング（例：sentence transformers）を用いて、言語的差異があるにもかかわらず、意味的に類似したテキストペアを検出する。
• 意味的類似性とキーワードの完全一致の両方を重み付けしたハイブリッドスコアリング機構を適用し、精度を向上させる。
• 本手法は、Apple App Store の iOS アプリ5種類から抽出した944件のリリースノートおよび100万件を超えるユーザーのレビューを対象に評価された。
• 984組のマッチングペアの手作業ラベル付けにより、コンテンツの役割および時間的パターンに関する定性的・定量的分析が可能になった。
• 時間的分析では、レビューの投稿時刻とノートのリリース時刻を比較し、フィードバックのタイミングパターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 モバイルアプリエコシステムにおいて、ユーザーのレビューと公式のリリースノートとの間の関連性の程度はどのようになっているか？
• RQ2 リリースノートに反映された内容に基づいて、ユーザーのレビューがアプリ更新にどのように影響を与えたり、それに応答したりしているか、その役割は何か？
• RQ3 ユーザーのレビューのタイミングパターンは、新しいアプリバージョンのリリースとどのように関連しているか？
• RQ4 自動マッチングは、高い精度を維持しつつ、どの程度手作業ラベル付け作業を削減できるか？
• RQ5 ユーザーのフィードバックのコンテンツ的および時間的ダイナミクスは、公式のリリースノートとどの程度相関しているか？

主な発見

• RoseMatcher は、関連するレビューとリリースノートのペアを特定する際、0.718 のヒットレートを達成し、自動マッチングの有効性が顕著に示された。
• リリースノートと関連するユーザーのレビューとの平均時間間隔は約1年であり、大多数のフィードバックはリリースの直前または直後に発生している。
• ユーザーのレビューがアプリ更新において果たす8つの明確な役割が同定された：機能要望、バグ報告、不満、称賛、批判、質問、新しいアイデア、フォローアップ報告。
• ユーザーのレビューはしばしば新しいリリースのきっかけとなり、開発チームは機能要望やバグ報告に基づいて、リリースノートに修正や強化を反映させている。
• ユーザーもリリースノートに対して称賛、批判、新しい機能要望といったフィードバックを提供することで、双方向のコミュニケーションループが形成されている。
• 多くのマッチングペアで長期間（最長3年）の時間差が見られ、ユーザーの関与が遅れていたり、報告された問題の解決が遅れていたりする可能性を示唆している。