[論文レビュー] Sentiment Analysis of Users' Reviews on COVID-19 Contact Tracing Apps with a Benchmark Dataset

Kashif Ahmad, Firoj Alam+9 more|arXiv (Cornell University)|Mar 1, 2021

COVID-19 Digital Contact Tracing被引用数 5

ひとこと要約

本論文は、46か国から47の新型コロナウイルス接触追跡アプリのユーザーのレビューにおける自動感情分析のためのベンチマークデータセットとパイプラインを提案する。34,534件の手動ラベル付きレビューを用いたクラウドソーシングによるアノテーションと、RoBERTaなどのトランスフォーマーを含む多様なAIモデルの訓練を通じて、最高で94.8％の平均F1スコアを達成した。これは、自動感情分類の高い実現可能性を示しており、プライバシー、技術的問題、アプリのパフォーマンスといった重要なユーザーの懸念事項を同定した。

ABSTRACT

Contact tracing has been globally adopted in the fight to control the infection rate of COVID-19. Thanks to digital technologies, such as smartphones and wearable devices, contacts of COVID-19 patients can be easily traced and informed about their potential exposure to the virus. To this aim, several interesting mobile applications have been developed. However, there are ever-growing concerns over the working mechanism and performance of these applications. The literature already provides some interesting exploratory studies on the community's response to the applications by analyzing information from different sources, such as news and users' reviews of the applications. However, to the best of our knowledge, there is no existing solution that automatically analyzes users' reviews and extracts the evoked sentiments. In this work, we propose a pipeline starting from manual annotation via a crowd-sourcing study and concluding on the development and training of AI models for automatic sentiment analysis of users' reviews. In total, we employ eight different methods achieving up to an average F1-Scores 94.8% indicating the feasibility of automatic sentiment analysis of users' reviews on the COVID-19 contact tracing applications. We also highlight the key advantages, drawbacks, and users' concerns over the applications. Moreover, we also collect and annotate a large-scale dataset composed of 34,534 reviews manually annotated from the contract tracing applications of 46 distinct countries. The presented analysis and the dataset are expected to provide a baseline/benchmark for future research in the domain.

研究の動機と目的

• ユーザーの新型コロナウイルス接触追跡アプリのレビューにおける感情分析のための、タスク特化型で大規模かつ手動ラベル付きのデータセットが不足しているという問題に対処すること。
• 高い精度でユーザーのレビュー内の感情を自動的に分類できるAIモデルの開発と評価を行うこと。
• 系統的な感情分析を通じて、プライバシー、技術的問題、アプリのパフォーマンスといった重要なユーザーの懸念を同定・分析すること。
• 今後のデジタル公衆衛生および感情分析分野の研究を支援するための標準化されたベンチマークデータセットを提供すること。

提案手法

• 47の接触追跡アプリを46か国から公的アプリストアを介して収集し、段階的なパイプラインを構築した。
• 34,534件のレビューを、肯定的、否定的、ニュートラル、技術的問題の4つの感情カテゴリに手動でアノテートするためのクラウドソーシング研究を実施した。
• 古典的手法（ナイーブベイズ、SVM）、ディープラーニング（LSTM、BiLSTM）、トランスフォーマー基盤モデル（BERT、RoBERTa、XML-RoBERTa）を含む8種類の機械学習およびディープラーニングモデルを訓練・評価した。
• アノテート済みデータセット上でファインチューニングを行い、標準的な自然言語処理指標（精度、再現率、F1スコア）を用いて、二値分類および三値分類タスクで評価した。
• 3つの分類タスクを採用した：二値（肯定 vs. 否定）、二値（肯定 vs. 非肯定）、三値（肯定、否定、ニュートラル）の感情分類。
• マクロ平均F1スコアを用いて性能を評価し、特にニュートラルクラスのクラス不均衡に注意を払った。

実験結果

リサーチクエスチョン

• RQ1 世界中の新型コロナウイルス接触追跡アプリのユーザーのレビューにおける感情の分布はどのようになっており、国やアプリケーションごとにどのように異なるか？
• RQ2 特にトランスフォーマーが、古典的手法およびディープラーニング手法と比較して、接触追跡アプリのレビューにおける感情分類の有効性はいかほどか？
• RQ3 ユーザーのレビューに頻出する技術的およびプライバシー関連の懸念事項は何か、感情極性とどのように相関しているか？
• RQ4 大規模かつ手動ラベル付きのベンチマークデータセットは、このタスクにおける感情分析モデルの性能をどの程度向上させるか？

主な発見

• 提案されたベンチマークデータセットには、46か国から47の接触追跡アプリの34,534件の手動ラベル付きユーザーのレビューが含まれており、今後の研究に包括的なリソースを提供する。
• 最も高い性能を示したモデルであるXML-RoBERTaは、すべての分類タスクで平均94.8％のF1スコアを達成し、自動感情分類の高い実現可能性を示した。
• トランスフォーマーは古典的およびディープラーニング手法を上回り、RoBERTaベースのモデルがすべてのタスクで最高の精度、再現率、F1スコアを示した。
• レビューの大多数は3つのカテゴリに分類された：肯定的（35.6％）、否定的（30.2％）、技術的問題（25.8％）、ニュートラルはわずか8.4％であった。
• 登録の問題、接続性の問題、アプリのパフォーマンスの悪さといった技術的問題は、否定的センチメントと強く関連しており、強い感情的影響を示した。
• GPS追跡や個人情報（例：ギャラリーへのアクセス）へのアクセスといったプライバシー関連の懸念は、非技術的問題の中で最も顕著であり、否定的レビューに一貫して登場した。