[論文レビュー] Assessment of SE-specific Sentiment Analysis Tools: An Extended Replication Study.

Nicole Novielli, Fabio Calefato+2 more|arXiv (Cornell University)|Oct 20, 2020

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本研究では、GitHub および Stack Overflow の議論を対象として、先行研究を再現・拡張することで、SE 専用のセンチメント分析ツールの有効性を評価する。結果として、市販の SE ツールは細分化されたレベルでしばしば矛盾した結果を生じることが判明し、SE 経験的研究における妥当な結論を得るためには、プラットフォームに特化したチューニングや再訓練が不可欠であることが示唆される。

ABSTRACT

Sentiment analysis methods have become popular for investigating human communication, including discussions related to software projects. Since general-purpose sentiment analysis tools do not fit well with the information exchanged by software developers, new tools, specific for software engineering (SE), have been developed. We investigate to what extent SE-specific tools for sentiment analysis mitigate the threats to conclusion validity of empirical studies in software engineering, highlighted by previous research. First, we replicate two studies addressing the role of sentiment in security discussions on GitHub and in question-writing on Stack Overflow. Then, we extend the previous studies by assessing to what extent the tools agree with each other and with the manual annotation on a gold standard of 600 documents. We find that different SE-specific sentiment analysis tools might lead to contradictory results at a fine-grain level, when used 'off-the-shelf'. Conversely, platform-specific tuning or retraining might be needed to take into account differences in platform conventions, jargon, or document lengths.

研究の動機と目的

• SE 専用のセンチメント分析ツールが、経験的 SE 研究における結論の妥当性を向上させるかどうかを評価すること。
• GitHub のセキュリティ関連議論および Stack Overflow における質問作成に関する、2 つの先行研究を再現すること。
• 600 文書のゴールドスタンダードデータセット上で、ツール間の合意度と手動アノテーションとの整合性を評価すること。
• 市販の SE ツールが、GitHub や Stack Overflow といった異なる SE プラットフォーム間で一貫した結果をもたらすかどうかを調査すること。

提案手法

• GitHub のセキュリティ関連議論および Stack Overflow における質問作成に関する、2 つの先行研究の再現。
• 手動でセンチメントがアノテートされた 600 文書のゴールドスタンダードデータセットの作成。
• 同じデータセットに複数の SE 専用センチメント分析ツールを適用し、その出力結果を比較すること。
• アノテーター間一致性指標を用いた定量的評価と、手動アノテーションとの比較によるツールの合意度の測定。
• 差異の原因を特定するための分析。その要因として、プラットフォームの慣習、ドメイン特有の用語、文書長の違いが挙げられる。
• プラットフォーム特化のチューニングまたは再訓練が、ツールのパフォーマンスと一貫性に与える影響の評価。

実験結果

リサーチクエスチョン

• RQ1 SE 専用のセンチメント分析ツールが、SE 専用のテキストに適用された場合、互いにどの程度合意しているか。
• RQ2 ゴールドスタンダードデータセット上で、SE 専用ツールが手動センチメントアノテーションとどの程度整合性を示すか。
• RQ3 GitHub や Stack Overflow といった異なる SE プラットフォームに、市販の SE ツールをそのまま適用した場合、一貫した結果が得られるか。
• RQ4 SE ツール間のセンチメント分類における差異を生じさせる要因は何か。
• RQ5 SE の文脈において、信頼できるセンチメント分析を達成するためには、プラットフォーム特化のチューニングまたは再訓練が必須であるか。

主な発見

• 市販の SE 専用センチメント分析ツールは、細分化された SE テキストにそのまま適用した場合、頻繁に矛盾したセンチメント分類を生じる。
• ツール間の合意度は低く、同じ SE テキストに適用しても、ツール間で顕著な不一致が生じていることが示された。
• SE ツールは手動アノテーションとの整合性が限定的であり、経験的 SE 研究における信頼性の問題が生じる可能性がある。
• 差異の原因の一部は、プラットフォームの慣習、ドメイン特有の用語、およびプラットフォーム間での文書長の違いに起因している。
• 本研究では、ツールの一貫性と妥当性を向上させるために、プラットフォーム特化のチューニングまたは再訓練が不可欠であることを実証した。
• 文脈的・言語的差異を考慮すると、SE プラットフォームに特化した適応なしでは、市販の SE ツールは信頼性を持って使用できない。