[論文レビュー] Data Augmentation for Improving Emotion Recognition in Software Engineering Communication

Mia Mohammad Imran, Yashasvi Jain+2 more|arXiv (Cornell University)|Aug 10, 2022

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、感情の極性を保ったまま合成学習データを生成する極性ベースのデータ拡張を提案し、ソフトウェア工学におけるコミュニケーションの感情認識を向上させる。BARTを用いたテキスト生成により、感情の極性を維持した合成データを生成し、GitHubのイシューおよびプルリクエストコメントにおいて、3つの既存の感情分類器（ESEM-E、EMTk、SEntiMoji）の平均で微小F1スコアを9.3%向上させた。

ABSTRACT

Emotions (e.g., Joy, Anger) are prevalent in daily software engineering (SE) activities, and are known to be significant indicators of work productivity (e.g., bug fixing efficiency). Recent studies have shown that directly applying general purpose emotion classification tools to SE corpora is not effective. Even within the SE domain, tool performance degrades significantly when trained on one communication channel and evaluated on another (e.g, StackOverflow vs. GitHub comments). Retraining a tool with channel-specific data takes significant effort since manually annotating large datasets of ground truth data is expensive. In this paper, we address this data scarcity problem by automatically creating new training data using a data augmentation technique. Based on an analysis of the types of errors made by popular SE-specific emotion recognition tools, we specifically target our data augmentation strategy in order to improve the performance of emotion recognition. Our results show an average improvement of 9.3% in micro F1-Score for three existing emotion classification tools (ESEM-E, EMTk, SEntiMoji) when trained with our best augmentation strategy.

研究の動機と目的

• ソフトウェア工学（SE）のコミュニケーションにおいて、一般向け感情分類器が性能を発揮できない理由（ドメイン特有の言語的特徴と限られたアノテート済みデータ）を解消する。
• 新たに整備したGitHubデータセットを用いた誤分類の原因を同定するためのエラー分析を通じて、既存のSE感情認識ツールの誤分類の根本的原因を解明する。
• 手動によるアノテーションを大幅に減らすことを目的として、SEテキストに特化したデータ拡張戦略を設計・評価し、モデルの汎化性能と性能を向上させる。
• 感情の極性に焦点を当てた拡張（例：肯定的・否定的センチメント語の置換）が、広範な語彙置換よりも効果的な改善をもたらすことを実証する。
• データ不足問題を効果的に緩和できるスケーラブルで自動化されたソリューションを提供し、開発者のウェルネスやチーム生産性分析のためのツール改善を実現する。

提案手法

• 6つの主要感情（Shaver et al., 1987）およびGoEmotionsの二次的・三次的カテゴリを含む、2,000件のGitHubイシューおよびプルリクエストコメントをアノテートした新規データセットを整備した。
• 3つの既存ツール（ESEM-E、EMTk、SEntiMoji）の予測結果を分析し、誤分類のパターンを同定した。その結果、誤分類の主な原因は感情を示す語彙的キューの認識不能に起因していることが判明した。
• 3つのデータ拡張戦略を設計：制約なしのランダム語置換、感情極性に基づく制約付き置換、および感情に特化した語彙辞書を用いた置換。
• 文脈に配慮したテキスト生成を実現するため、BART言語モデルを活用し、拡張されたサンプルの意味的整合性と感情の一貫性を確保した。
• データ拡張により学習データサイズを10倍に増強し、その拡張データを用いて3つの感情分類器を微調整し、性能向上を評価した。
• ストラティファイドな80%-20%のトレイン・テスト分割を採用し、主評価指標として微小F1スコアを用い、アノテーター間一致性が0.8を超えることでアノテーションの信頼性を確保した。

実験結果

リサーチクエスチョン

• RQ1 ESEM-E、EMTk、SEntiMojiといった既存の感情分類器は、GitHubコメントにおける感情検出にどの程度有効であり、主にどのようなタイプの誤分類が発生するか？
• RQ2 現在のSE感情認識ツールにおける誤分類の主な原因は何か。特に、語彙的キューと感情の極性との関連において。
• RQ3 データ拡張技術は、既存のSEコミュニケーションにおける感情分類器の性能向上に寄与できるか。また、どの拡張戦略が最も優れた結果をもたらすか？
• RQ4 感情の極性に焦点を当てた拡張（肯定的／否定的センチメント語の置換）は、一般的な語彙置換や感情特化型拡張戦略よりもF1スコアの向上に優れているか？

主な発見

• 3つの既存分類器（ESEM-E、EMTk、SEntiMoji）は、元の評価データセットと比較して、GitHubコメントでは顕著に性能が低下しており、ドメインシフトの問題が顕在していることが示された。
• エラー分析の結果、誤分類の大部分は、感情を示す明確な語彙的キューを認識できないことが主な原因であることが判明した。複雑な感情表現や暗黙の感情表現によるものではない。
• 感情極性に焦点を当てたデータ拡張（例：喜びに適した肯定的語彙、怒りに適した否定的語彙への置換）が、最も高い性能向上をもたらした。
• このアプローチにより、3つのツールの平均で微小F1スコアが9.3%向上した。極性に配慮した拡張が、一般的なまたは感情特化型の方法よりも効果的であることを示した。
• 最も優れた性能を示した拡張戦略は、大規模なSE特化感情語彙辞書に依存していなかった。これは、BARTのような事前学習モデルによる極性に配慮した生成が十分に効果的であり、スケーラブルであることを示唆している。
• 結果から、データ拡張はSE感情認識におけるデータ不足とドメインシフト問題を効果的に緩和でき、再訓練を必要としない現実的な手法として、既存ツールの改善に有効であることが示された。