[논문 리뷰] Mining Valence, Arousal, and Dominance - Possibilities for Detecting Burnout and Productivity?

Mika Mäntylä, Bram Adams외 3명|arXiv (Cornell University)|2016. 01. 01.

Sentiment Analysis and Opinion Mining참고 문헌 46인용 수 83

한 줄 요약

이 연구는 소프트웨어 개발 프로젝트에서 70만 건의 Jira 이슈 보고서와 200만 건의 댓글을 대상으로 Valence-Arousal-Dominance (VAD) 정서 차원 모델을 적용하여 번아웃과 생산성 저하와 관련된 정서 패턴을 탐지한다. 연구 결과, 이슈 우선순위가 높을수록 Arousal가 증가하고, 해결이 이루어질수록 Valence가 상승하는 것으로 나타났으며, 특히 보고자에게서 두드러진다. 또한 해결 소요 시간이 길어질수록 Arousal는 증가하고 Valence는 감소하여, VAD 지표가 소프트웨어 팀의 정서적 부담을 조기에 예측할 수 있음을 시사한다.

ABSTRACT

Similar to other industries, the software engineering domain is plagued by psychological diseases such as burnout, which lead developers to lose interest, exhibit lower activity and/or feel powerless. Prevention is essential for such diseases, which in turn requires early identification of symptoms. The emotional dimensions of Valence, Arousal and Dominance (VAD) are able to derive a person's interest (attraction), level of activation and perceived level of control for a particular situation from textual communication, such as emails. As an initial step towards identifying symptoms of productivity loss in software engineering, this paper explores the VAD metrics and their properties on 700,000 Jira issue reports containing over 2,000,000 comments, since issue reports keep track of a developer's progress on addressing bugs or new features. Using a general-purpose lexicon of 14,000 English words with known VAD scores, our results show that issue reports of different type (e.g., Feature Request vs. Bug) have a fair variation of Valence, while increase in issue priority (e.g., from Minor to Critical) typically increases Arousal. Furthermore, we show that as an issue's resolution time increases, so does the arousal of the individual the issue is assigned to. Finally, the resolution of an issue increases valence, especially for the issue Reporter and for quickly addressed issues. The existence of such relations between VAD and issue report activities shows promise that text mining in the future could offer an alternative way for work health assessment surveys.

연구 동기 및 목표

• 정서 차원인 Valence, Arousal, Dominance(VAD)가 소프트웨어 개발 커뮤니케이션에서 자동으로 추출될 수 있는지 탐색한다. 이를 통해 번아웃과 생산성 감소의 조기 징후를 탐지할 수 있는지 확인한다.
• VAD 지표가 이슈 보고서의 특성(예: 유형, 우선순위, 해결 시간 등)과 상관관계가 있는지 평가한다.
• 결함 해결 시간을 설명하는 데 있어 VAD가 이산 정서, 감성, 예의 바람직함과 비교해 얼마나 뛰어난 예측 능력을 갖는지 평가한다.
• 실제 소프트웨어 리포지터리에서 정서 상태와 이슈 해결 동역학 간 상호 인과 관계를 탐구한다.

제안 방법

• 13,915개의 영어 단어로 구성된 일반 목적의 VAD 어휘집을 적용하여 70만 건의 Jira 이슈 보고서와 200만 건의 댓글에서 정서 점수를 추출한다.
• 통계 분석과 효과 크기 추정을 통해 VAD 점수와 이슈 메타데이터(예: 유형, 우선순위, 해결 시간 등) 간의 관계를 분석한다.
• 이슈 해결을 시간적 사건으로 간주하고, 이슈 보고서의 수명 주기 동안 VAD의 변화를 분석한다.
• 결함 해결 시간에 대한 VAD의 영향을 회귀 모델을 사용해 평가하고, 감성, 정서, 예의 바람직함 지표와 비교한다.
• 심리학 이론(예: Yerkes-Dodson 법칙 및 통제력(Dominance)이 번아웃에서 차지하는 역할)과의 일관성 검증을 통해 연구 결과를 검증한다.
• 실제 패턴에 기반한 인과관계를 가정하고, 개발자들이 데이터 수집을 인지하지 못하도록 함으로써 잠재적 혼동 요인을 완화한다.

실험 결과

연구 질문

• RQ1 RQ1: VAD 지표는 이슈 보고서의 특성(예: 버그 대비 기능 요청 등)과 우선순위 수준과 어떻게 관련이 있는가?
• RQ2 RQ2: 이슈가 생성된 후 해결될 때까지 진행됨에 따라 VAD 점수는 어떻게 변화하는가?
• RQ3 RQ3: VAD 점수는 결함 해결에 소요되는 시간을 설명할 수 있으며, 다른 정서 측정 지표와 비교해 어떤가?
• RQ4 RQ4: 어떤 이슈 특성이 개발자 댓글의 높거나 낮은 VAD 점수를 예측하는가?

주요 결과

• 이슈 우선순위가 높아질수록(A. Minor에서 Critical로 전환) Arousal가 유의미하게 증가하여 정서적 활성도가 높아지는 것으로 나타났다.
• 이슈 유형은 Valence에 영향을 미친다: 버그 보고서는 낮은 Valence(덜 기분 좋은 정서)와 관련이 있고, 기능 요청 및 개선 요청은 높은 Valence를 보인다.
• 이슈 해결은 Valence의 유의미한 증가와 관련이 있으며, 특히 이슈 보고자에게서 가장 강한 영향을 보였다.
• 해결 소요 시간이 길어질수록 Arousal는 증가하고 Valence는 감소하여 시간이 지남에 따라 스트레스와 정서적 피로가 누적됨을 시사한다.
• VAD 지표는 결함 해결 시간의 의미 있는 부분을 설명하며, 효과 크기(d = 0.389 등)가 이전의 정서 마이닝 연구보다 뚜렷하게 높다.
• 연구는 상호 인과 관계를 드러내며, 정서 상태가 이슈 해결 동역학에 영향을 주고, 반대로 해결되지 않은 이슈가 정서 반응을 형성함으로써 시간이 지남에 따라 Arousal는 증가하고 Valence는 감소하는 경향이 있음을 보여준다.