[논문 리뷰] EmoFit: Affect Monitoring System for Sedentary Jobs

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|2016. 07. 05.

Impact of Technology on Adolescents참고 문헌 19인용 수 4

한 줄 요약

EmoFit는 키보드 입력, 활동 중단, 눈동자 추적, 얼굴 표정, 신체 자세, 음성 분석 등의 데이터를 분석하여 앉아서 일하는 직장인의 정서적 및 신체적 건강을 향상시키기 위해 설계된 다중모odal 정서 모니터링 시스템이다. 이 시스템은 정서적 고통과 신체적 불활성 상태를 감지하고, 책상 운동, 스트레스 해소 게임, 동기 부여 문구와 같은 개인 맞춤형 간섭 조치를 제공하며, 실험 결과는 긍정적인 피드백과 정서적 복지 지표 향상을 보였다.

ABSTRACT

Emotional and physical well-being at workplace is important for a positive work environment and higher productivity. Jobs such as software programming lead to a sedentary lifestyle and require high interaction with computers. Working at the same job for years can cause a feeling of intellectual stagnation and lack of drive. Many employees experience lack of motivation, mild to extreme depression due to reasons such as aversion towards job responsibilities and incompatibility with coworkers or boss. This research proposed an affect monitoring system EmoFit that would play the role of psychological and physical health trainer. The day to day computer activity and body language was analyzed to detect the physical and emotional well-being of the user. Keystrokes, activity interruptions, eye tracking, facial expressions, body posture and speech were monitored to gauge the users health. The system also provided activities such as at-desk exercise and stress relief game and motivational quotes in an attempt to promote users well-being. The experimental results and positive feedback from test subjects showed that EmoFit would help improve emotional and physical well-being at jobs that involve significant computer usage.

연구 동기 및 목표

• 장시간 앉아서 일하는 사무직에서 정서적 및 신체적 건강이 악화되는 문제를 해결하기 위해, 특히 소프트웨어 프로그래밍과 같은 직무에서의 문제를 다루기 위해.
• 직무 불만족 또는 인간관계 갈등으로 인한 저조한 동기부여나 경도에서 중증의 우울증과 같은 정서적 고통의 징후를 탐지하기 위해.
• 컴퓨터 상호작용과 신체 행동에서 온 다중모달 입력을 사용하여 사용자 복지를 실시간으로 모니터링하는 비침습적 실시간 시스템을 개발하기 위해.
• 책상에서의 운동과 스트레스 해소 게임과 같은 개인 맞춤형, 맥락 인식 웰빙 간섭 조치를 제공하여 일상적인 복지를 향상시키기 위해.
• 실제 근무 환경에서 사용자 피드백과 실험적 평가를 통해 시스템의 효과성을 검증하기 위해.

제안 방법

• 시스템은 키보드 입력 동역학, 활동 중단, 눈동자 추적, 얼굴 표정 분석, 신체 자세 모니터링, 음성 패턴 등의 다양한 소스에서 데이터를 수집한다.
• 실시간으로 웹캠 영상에서 얼굴 표정과 신체 자세를 분석하기 위해 컴퓨터 시각 및 패턴 인식 기법을 사용한다.
• 키보드 입력 로깅과 활동 중단 추적을 통해 인지 부하와 정서 상태 변화를 유추한다.
• 눈동자 추적 데이터는 주의 수준과 피로 또는 이탈 가능성을 평가하는 데 도움이 된다.
• 음성 분석은 피치와 말하기 속도 변화와 같은 음성 스트레스 지표를 탐지하는 데 적용된다.
• 이러한 신호들을 통합하여 정서적 및 신체적 복지를 평가하는 통합 정서 모델을 구성하고, 필요에 따라 맞춤형 웰빙 간섭 조치를 유도한다.

실험 결과

연구 질문

• RQ1 앉아서 일하는 사무직 종사자에서 컴퓨터 상호작용과 신체 행동의 다중모달 감지가 정서적 및 신체적 복지를 신뢰성 있게 탐지할 수 있는가?
• RQ2 책상 운동과 스트레스 해소 게임과 같은 실시간, 맥락 인식 웰빙 간섭 조치가 사용자 복지 향상에 얼마나 효과적인가?
• RQ3 사용자들은 이 시스템이 일상적인 업무 루틴에서 비침습적이고 유익하다고 얼마나 느끼는가?
• RQ4 정서 정체, 동기 부족, 직무 관련 스트레스 증상을 감소시키기 위해 정서 모니터링 시스템이 장기간 앉아서 일하는 직무에서 효과를 발휘할 수 있는가?
• RQ5 행동적 및 생리적 신호의 어떤 조합이 사용자 복지의 가장 정확한 실시간 평가를 제공하는가?

주요 결과

• 시험 대상자들은 시스템이 정서 상태를 탐지하고 적절한 시기에 관련 웰빙 간섭 조치를 제공하는 데 대해 긍정적인 피드백을 보였다.
• 얼굴 표정, 키보드 입력, 눈동자 추적, 신체 자세와 같은 다중모달 통합은 단일 모달 접근보다 정서 탐지 정확도를 향상시켰다.
• 사용자들은 책상 운동과 스트레스 해소 게임에 긍정적으로 반응하여 정서적 피로 감소와 집중력 향상을 보고했다.
• 키보드 입력 동역학과 활동 중단 패tern을 통해 저조한 참여도와 정서적 고통 기간을 성공적으로 식별했다.
• 동기 부여 문구와 실시간 피드백의 포함이 동기 부여와 정서적 회복력 향상에 기여한 것으로 인식되었다.
• 초기 결과는 지속적인 비침습적 모니터링이 앉아서 일하는 환경에서 정서적 및 신체적 복지 유지에 기여할 수 있음을 시사한다.