[논문 리뷰] MoodSwipe: A Soft Keyboard that Suggests Messages Based on User-Specified Emotions

Chieh-Yang Huang, Tristan Labetoulle외 5명|arXiv (Cornell University)|2017. 07. 22.

Multimedia Communication and Technology참고 문헌 17인용 수 3

한 줄 요약

MoodSwipe는 사용자가 지정한 정서를 기반으로 메시지를 제안하는 소프트 키보드로, 실제 대화 데이터를 활용해 정서 인식 텍스트 제안 모델을 훈련시킨다. 사용자가 스와이프로 정서를 선택하고, 맥락에 맞는 메시지 제안을 받음으로써 메시지의 명확성과 편안함을 향상시키며, 특히 분노 표현에 효과적이다. 동시에 향후 모델 개선을 위해 고품질의 사용자 보고 정서 레이블을 자동으로 수집한다.

ABSTRACT

We present MoodSwipe, a soft keyboard that suggests text messages given the user-specified emotions utilizing the real dialog data. The aim of MoodSwipe is to create a convenient user interface to enjoy the technology of emotion classification and text suggestion, and at the same time to collect labeled data automatically for developing more advanced technologies. While users select the MoodSwipe keyboard, they can type as usual but sense the emotion conveyed by their text and receive suggestions for their message as a benefit. In MoodSwipe, the detected emotions serve as the medium for suggested texts, where viewing the latter is the incentive to correcting the former. We conduct several experiments to show the superiority of the emotion classification models trained on the dialog data, and further to verify good emotion cues are important context for text suggestion.

연구 동기 및 목표

• 기존 방법으로는 비용이 많이 들고 방해가 되므로, 대화 메시지의 자가 보고 정서 레이블을 수집하는 데 도전한다.
• 정서 민감한 의사소통의 루프를 완성하기 위해 실시간으로 메시지 작성자 측에서 정서 표현을 지원하는 기능을 제공한다.
• 사용자가 지정한 정서가 텍스트 제안 품질, 특히 명확성, 편안함, 반응성 측면에서 어떻게 향상되는지 탐색한다.
• 사용자가 메시지 제안에 참여함으로써 자연스럽게 자신의 정서를 레이블링하도록 유도하는 확장 가능한 상호작용 인터페이스를 개발한다.
• 사용자 스와이프 및 제안 선택과 같은 암시적 동작을 통해 사용자 보고 정서 레이블이 부여된 대화 데이터를 고품질로 수집한다.

제안 방법

• MoodSwipe 키보드는 표준 소프트 키보드에 정해진 정서를 반영하는 동적 색상 바를 통합하여, 사용자가 입력한 메시지의 감정을 사전 훈련된 정서 분류기로 감지한다.
• 사용자는 색상 바를 스와이프하여 목표 정서(예: 기쁨, 분노, 슬픔)를 지정할 수 있으며, 시스템은 해당 정서에 맞는 메시지 표현을 즉각적으로 제안한다.
• 시스템은 대규모 대화 데이터베이스에서 관련 응답을 검색하는 리트리ieval 기반 모델을 사용하며, 정서 레이블과 맥락 신호를 필터로 활용해 제안의 관련성을 향상시킨다.
• 정서 레이블은 자동으로 수집된다: '선택' 동작은 선택된 제안의 정서를 기록하고, 선택 없이 '스와이프'만 할 경우 최종 색상 위치에서 의도된 정서를 유추한다.
• 정서 분류기는 실제 대화 데이터로 훈련되며, 심리학적 프레임워크를 활용해 정서를 색상으로 매핑(예: 분노는 빨간색, 슬픔은 파란색)하여 사용자 인터페이스의 직관성을 높인다.
• 아마존 Mechanical Turk를 통한 인간 평가로 제안된 메시지의 명확성, 편안함, 반응성 수준을 평가하며, 원본 사용자 입력 및 기준 모델과의 결과를 비교한다.

실험 결과

연구 질문

• RQ1 사용자가 지정한 정서가 실시간 모바일 키보드 인터페이스에서 텍스트 제안 품질을 크게 향상시킬 수 있는가?
• RQ2 정서 맥락을 통합할 경우 제안된 메시지의 명확성, 편안함, 반응성에 어떤 영향을 미치는가?
• RQ3 스와이프 및 선택과 같은 암시적 사용자 동작을 통해 고품질의 자가 보고 정서 레이블을 신뢰성 있게 수집할 수 있는가?
• RQ4 정서 신호를 포함하면 정서 맥락이 없는 기준 검색 모델보다 더 나은 제안을 이끌어낼 수 있는가?
• RQ5 일부 정서(예: 분노)는 다른 정서보다 더 효과적인 제안에 적합한가? 그 이유는 무엇인가?

주요 결과

• 정서 맥락을 사용한 경우, 제안 메시지의 편안함에 대한 '좋은 제안 비율(Good Suggestion Rate)'은 28.65%를 기록했으며, 정서 없이 사용한 기준 모델의 28.38%보다 略적으로 높은 수준의 일관된 향상이 확인되었다.
• 분노 관련 메시지의 경우, [+Emotion] 설정에서 '좋은 제안 비율'이 37.49%에 달했으며, 평균 28%보다 뚜렷하게 높아, 분노 표현에 특히 효과적임을 입증했다.
• 사용자 상호작용을 통해 총 1,366건의 사용자 보고 정서 레이블이 부여된 대화 메시지를 성공적으로 수집했으며, 스와이프 및 선택을 통한 자동 레이블링의 가능성을 입증했다.
• 인간 평가 결과, 제안된 메시지가 원본 사용자 입력보다 우수한(낮은 순위) 것으로 평가된 경우가 26%에서 28%에 달했으며, 실용적 유용성을 보여주었다.
• 정서 맥락을 추가함으로써 명확성, 편안함, 반응성의 세 평가 차원에서 평균 순위가 약간 향상되었으며, 이는 메시지 제안에서 정서 인식의 가치를 확인한다.
• 결과적으로 정서 인식 텍스트 제안은 특히 정서가 강한 메시지, 특히 분노 표현에서 가장 효과적이며, 사용자가 보다 적절한 표현 방식을 얻을 수 있음을 시사한다.