[論文レビュー] Mining Valence, Arousal, and Dominance - Possibilities for Detecting Burnout and Productivity?

Mika Mäntylä, Bram Adams+3 more|arXiv (Cornell University)|Jan 1, 2016

Sentiment Analysis and Opinion Mining参考文献 46被引用数 83

ひとこと要約

本研究では、70万件のJira課題レポートおよび200万件のコメントから成るオープンソースプロジェクトのデータを用いて、感情の三次元モデルであるValence-Arousal-Dominance（VAD）を適用し、燃え尽き状態および生産性の低下に関連する感情パターンを同定した。その結果、課題の優先度が高いほどArousal（覚醒度）が上昇し、解決が進むとValence（感情の肯定性）が上昇するが、特にレポート投稿者に対して顕著であることが判明した。また、解決までの期間が長くなるとArousalが上昇し、Valenceが低下する傾向があり、VAD指標がソフトウェア開発チームにおける感情的負担の早期兆候として有効である可能性が示された。

ABSTRACT

Similar to other industries, the software engineering domain is plagued by psychological diseases such as burnout, which lead developers to lose interest, exhibit lower activity and/or feel powerless. Prevention is essential for such diseases, which in turn requires early identification of symptoms. The emotional dimensions of Valence, Arousal and Dominance (VAD) are able to derive a person's interest (attraction), level of activation and perceived level of control for a particular situation from textual communication, such as emails. As an initial step towards identifying symptoms of productivity loss in software engineering, this paper explores the VAD metrics and their properties on 700,000 Jira issue reports containing over 2,000,000 comments, since issue reports keep track of a developer's progress on addressing bugs or new features. Using a general-purpose lexicon of 14,000 English words with known VAD scores, our results show that issue reports of different type (e.g., Feature Request vs. Bug) have a fair variation of Valence, while increase in issue priority (e.g., from Minor to Critical) typically increases Arousal. Furthermore, we show that as an issue's resolution time increases, so does the arousal of the individual the issue is assigned to. Finally, the resolution of an issue increases valence, especially for the issue Reporter and for quickly addressed issues. The existence of such relations between VAD and issue report activities shows promise that text mining in the future could offer an alternative way for work health assessment surveys.

研究の動機と目的

• ソフトウェア開発におけるコミュニケーションから、感情の三次元（Valence, Arousal, Dominance: VAD）を自動的に抽出できるかを検討し、燃え尽き状態や生産性の低下の兆候を早期に検出可能かどうかを明らかにすること。
• VAD指標が課題レポートの特性（種別、優先度、解決時間など）と相関するかどうかを評価すること。
• 欠陥解決時間の説明力について、VAD指標を離散的 emotions、センチメント、礼儀正しさ（politeness）の指標と比較すること。
• 実世界のソフトウェアリポジトリにおいて、感情状態と課題解決のダイナミクスの間で、双方向的な因果関係が存在するかを調査すること。

提案手法

• 13,915語の一般用途VAD語彙を用い、70万件のJira課題レポートおよび200万件のコメントから感情スコアを抽出した。
• 統計的分析と効果量推定を用いて、VADスコアと課題メタデータ（例：種別、優先度、解決時間）との関係を検証した。
• 課題の解決を時間的イベントとみなして、課題レポートのライフサイクルに伴うVADの変化を分析した。
• 回帰モデルを用いてVADが欠陥解決時間に与える影響を評価し、センチメント、感情、礼儀正しさの指標と比較した。
• 心理的理論（Yerkes-Dodsonの法則および制御（Dominance）が燃え尽きに与える役割）との整合性を確認することで、研究結果の妥当性を検証した。
• 実証的パターンに基づき因果関係を仮定するとともに、開発者の認識なしにデータ収集が行われたことから、潜在的交絡要因への配慮を行った。

実験結果

リサーチクエスチョン

• RQ1 RQ1: VAD指標は、課題の種別（例：バグ vs. 機能要件）や優先度レベルとどのように関連しているか？
• RQ2 RQ2: 課題が作成されてから解決に至るまでの経過とともに、VADスコアはどのように変化するか？
• RQ3 RQ3: VADスコアは欠陥解決に要する時間を説明できるか？ 他の感情的指標と比較してその有効性はいかがなものか？
• RQ4 RQ4: どの課題特性が、開発者コメントにおける高いまたは低いVADスコアを予測するか？

主な発見

• 課題の優先度が高くなる（例：MinorからCriticalに）ほど、Arousal（覚醒度）が有意に上昇し、感情的活性化が高まることを示している。
• 課題の種別はValence（感情の肯定性）に影響を与える：バグ報告は低いValence（肯定的でない）と関連し、機能要件や改善要望は高いValenceと関連している。
• 課題の解決はValenceの有意な上昇を伴い、特に課題を報告した本人に対してその効果が顕著に見られた。
• 解決までの期間が長くなると、Arousalが上昇し、Valenceが低下する傾向があり、時間の経過とともにストレスと感情的疲労が蓄積されている可能性を示唆している。
• VAD指標は欠陥解決時間の有意な割合を説明できており、効果量（例：d = 0.389）は、先行する感情マイニング研究と比較して顕著に高い水準に達している。
• 本研究では、双方向的な関係が明らかになった：感情状態が課題解決のダイナミクスに影響を与え、一方で解決されない課題が感情反応を形作り、特に時間の経過とともにArousalを上昇させ、Valenceを低下させる傾向がある。