[논문 리뷰] Happy Together: Learning and Understanding Appraisal From Natural Language

Arun Kumar Rajendran, Chiyu Zhang외 1명|arXiv (Cornell University)|2019. 06. 09.

Mental Health via Writing참고 문헌 4인용 수 5

한 줄 요약

이 논문은 HappyDB 데이터셋을 사용하여 자연어로 기록된 행복한 순간의 기관성(자기원인 대비 타인원인 대비 상황원인)과 사회성(다른 사람의 존재 여부)을 분류하기 위한 딥러닝 모델을 제안한다. 양방향 LSTM에 주목성 메커니즘을 적용하고, 고급 문맥 기반 단어 임베딩(EMLo, CoVe, ULMFiT)을 활용하여 기관성 분류에서 87.97%의 정확도, 사회성 분류에서 93.13%의 정확도를 달성하였으며, 기존의 전통적 방법들과 단순 임베딩을 사용한 기초 딥러닝 모델보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we explore various approaches for learning two types of appraisal components from happy language. We focus on 'agency' of the author and the 'sociality' involved in happy moments based on the HappyDB dataset. We develop models based on deep neural networks for the task, including uni- and bi-directional long short-term memory networks, with and without attention. We also experiment with a number of novel embedding methods, such as embedding from neural machine translation (as in CoVe) and embedding from language models (as in ELMo). We compare our results to those acquired by several traditional machine learning methods. Our best models achieve 87.97% accuracy on agency and 93.13% accuracy on sociality, both of which are significantly higher than our baselines.

연구 동기 및 목표

• 행복을 표현하는 자연어 표현에서 기관성과 사회성의 인지적 평가 구성요소를 예측하는 지도 학습 모델을 개발하기 위해.
• 이러한 새로운 분류 과제에 대해 고급 문맥 기반 단어 임베딩(ELMo, CoVe)과 최적화된 언어 모델(ULMFiT)의 유용성을 조사하기 위해.
• 모델의 해석 가능성 향상을 위해 주목성 가중치를 시각화하여 예측에 기여하는 주요 단어를 식별하기 위해.
• 비교를 위해 전통적인 기계학습 방법(예: TF-IDF를 사용한 LinSVM)을 활용한 강력한 베이스라인을 수립하기 위해.
• 언어적 단서가 감정 경험에서 심리학적 개념인 기관성과 사회성과 어떻게 관련되어 있는지 통찰을 제공하기 위해.

제안 방법

• 기본적인 기관성 및 사회성 분류 과제에 대해 자기주도 주목성 메커니즘을 갖춘 양방향 LSTM 네트워크를 훈련시켰다.
• 정적 GloVe 임베딩을 초월하여 ELMo, CoVe, ULMFiT의 사전 훈련된 문맥 기반 임베딩을 통합하여 표현 학습을 향상시켰다.
• 일반 언어 표현을 특정 과제에 맞게 조정하기 위해 ULMFiT 프레임워크를 HappyDB 데이터셋에 맞게 미세조정하였다.
• 주목성 메커니즘을 사용하여 단어 수준의 가중치를 할당하여, 모델의 추론 과정을 해석 가능하게 하고 시각화하였다.
• 레이블이 부여된 데이터셋을 80% 훈련(8,448개 샘플)과 20% 개발(2,112개 샘플)으로 분할하여 모델 훈련 및 하이퍼파rameter 튜닝을 수행하였다.
• 클래식한 분류 과제의 공유 태스크인 CL-Aff를 통해, 보류된 테스트 세트(17,215개 샘플)에서 정확도, AUC, F1 점수를 평가하였으며, 예측 결과를 제출하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 자연어로 표현된 행복의 인지적 평가 구성요소인 기관성(자기원인, 타인원인, 상황원인)을 효과적으로 분류할 수 있는가?
• RQ2 텍스트적 단서를 사용하여 다른 사람이 행복한 순간에 관여되어 있는지 정확하게 예측할 수 있는가?
• RQ3 기본적인 기계학습 방법과 비교해 볼 때, 문맥 기반 단어 임베딩(ELMo, CoVe)과 최적화된 언어 모델(ULMFiT)은 기관성과 사회성 예측에 얼마나 효과적인가?
• RQ4 딥러닝 모델의 주목성 메커니즘은 예측에 기여하는 언어적으로 의미 있는 단어를 얼마나 잘 강조할 수 있는가? 이는 모델의 해석 가능성 향상에 얼마나 기여하는가?
• RQ5 기관성과 사회성 분류 시 모델은 어떤 언어적 특징에 주목하는가? 이러한 주목점은 심리학적 기대와 일치하는가?

주요 결과

• 기본적으로 ELMo 임베딩을 사용하고, 양방향 LSTM과 자기주도 주목성 메커니즘을 적용한 최고의 성능 모델이 기관성 분류 과제에서 87.97%의 정확도를 달성하였다.
• 사회성 예측 과제에서는 동일한 모델이 93.13%의 정확도를 기록하여, 모든 베이스라인과 전통적인 기계학습 모델보다 뚜렷이 뛰어난 성능을 보였다.
• ELMo 기반 모델이 ULMFiT 미세조정 모델보다 우수한 성능을 보였으며, 이는 이 과제에 있어서 주목성 메커니즘이 사전 훈련 전략보다 더 중요하다는 것을 시사한다.
• 주목성 시각화 결과, 모델은 의미적으로 관련 있는 단어들에 주목하는 것으로 나타났다: 예를 들어 기관성 분석에서는 '내', '함께', '동료'와 같은 단어를 주목하고, 사회성 분석에서는 '딸', '가족', '친구들'과 같은 단어를 주목하였다.
• 긍정 클래스에서 가장 높은 주목도를 보인 단어들은 심리학적 구성요소와 일치했다: 예를 들어 '말했다', '왔다'와 같은 사회적 동사와 '아들', '회원들'과 같은 집단적 참조어들이었으며, 이는 모델이 인간의 직관과 일치하는 방식으로 작동하고 있음을 시사한다.
• 주목성 기반 시각화 결과, 모델이 두 평가 구성요소에 대해 의미 있고 해석 가능한 표현을 학습하고 있음을 입증하였으며, 이는 모델의 투명성과 심리학적으로 타당한 결과를 뒷받침한다.