[논문 리뷰] CruzAffect at AffCon 2019 Shared Task: A feature-rich approach to characterize happiness

Jiaqi Wu, Ryan Compton외 4명|arXiv (Cornell University)|2019. 02. 16.

Mental Health via Writing참고 문헌 12인용 수 3

한 줄 요약

이 논문은 감정 분류를 위한 특징이 풍부한 시스템인 CruzAffect를 제시한다. 이 시스템은 감정 분류를 위해 감정 분석, 문법적 특징, 프로필 정보, 단어 임bedding 특징을 XGBoost 및 CNN 모델과 결합하여 HappyDB 데이터셋의 텍스트 스니펫에서 행복을 분류한다. 이는 이진 분류(기여, 사회적) 및 다중 클래스 분류(개념) 작업에서 뛰어난 성능을 보이며, 클래스 간 공통의 언어적 패턴이 잘-being 모델링을 위한 일반화 가능한 특성임을 시사한다.

ABSTRACT

We present our system, CruzAffect, for the CL-Aff Shared Task 2019. CruzAffect consists of several types of robust and efficient models for affective classification tasks. We utilize both traditional classifiers, such as XGBoosted Forest, as well as a deep learning Convolutional Neural Networks (CNN) classifier. We explore rich feature sets such as syntactic features, emotional features, and profile features, and utilize several sentiment lexicons, to discover essential indicators of social involvement and control that a subject might exercise in their happy moments, as described in textual snippets from the HappyDB database. The data comes with a labeled set (10K), and a larger unlabeled set (70K). We therefore use supervised methods on the 10K dataset, and a bootstrapped semi-supervised approach for the 70K. We evaluate these models for binary classification of agency and social labels (Task 1), as well as multi-class prediction for concepts labels (Task 2). We obtain promising results on the held-out data, suggesting that the proposed feature sets effectively represent the data for affective classification tasks. We also build concepts models that discover general themes recurring in happy moments. Our results indicate that generic characteristics are shared between the classes of agency, social and concepts, suggesting it should be possible to build general models for affective classification tasks.

연구 동기 및 목표

• 다양한 웰빙 차원에서 행복한 순간을 구분하는 일반적인 언어적 및 감정적 특징을 규명하는 것.
• 문법적, 감정적, 프로필, 임bedding 등의 다양한 특징 유형이 행복 관련 텍스트에서 감정 분류에 얼마나 효과적인지 평가하는 것.
• 기여, 사회적 등의 이진 레이블로 훈련된 모델이 다중 클래스 개념 예측으로 일반화되는지 탐색하는 것.
• 문법적 패턴과 어휘 목록이 행복의 심리학적 개념을 어떻게 포착하는지 조사하는 것.
• 7만 개의 레이블이 없는 인스턴스를 활용하여 1만 개의 레이블이 있는 데이터셋을 초월해 일반화를 향상시키는 준지도 학습 프레임워크를 개발하는 것.

제안 방법

• HappyDB에서 제공하는 레이블이 있는(1만 개) 및 없는(7만 개) 데이터를 활용한 세 단계의 부트스트랩된 준지도 학습 파이프라인을 구현하였다.
• 품사 태깅을 통해 36개의 문법적 특징을 추출하였으며, 품사, 시제, 시각, 의문문 구조 등을 포함한다.
• LIWC v2007, EmoLex, 주관성 어휘 목록 및 자체 개발한 감정-사실성 회귀 모델에서 94개의 감정적 특징을 통합하였다.
• 100차원의 GloVe 단어 임베딩을 사용하여 텍스트의 분산 의미 표현을 구현하였다.
• 희소성을 줄이고 일반화를 향상시키기 위해, 국가, 연령 등 희소한 프로필 특징을 언어 기반 카테고리로 변환하였다.
• 결합된 특징 집합을 기반으로 XGBoost 기반 포레스트 및 CNN 분류기를 훈련하였으며, 평가를 위해 10겹 교차 검증을 적용하였다.

실험 결과

연구 질문

• RQ1 문법적 특징 및 감정적 특징이 단어 임베딩보다 행복 관련 레이블 예측에 더 우수하거나 보완적인가?
• RQ2 프로필 특징은 감정 분류에 기여하는가? 만약 그렇다면, 어느 정도의 해상도에서 기여하는가?
• RQ3 기여, 사회적 등의 이진 레이블로 훈련된 모델이 다중 클래스 개념 예측으로 효과적으로 일반화되는가?
• RQ4 기부, 사회적, 개념 등에서 행복한 순간의 문법적 패턴은 무엇인가?
• RQ5 기여, 사회적, 개념 클래스 간에 공통의 언어적 및 감정적 특징이 존재하는가? 이러한 특징은 일반화 가능한 감정 분류 모델의 기초가 될 수 있는가?

주요 결과

• 문법적 특징과 감정적 특징은 매우 정보가 풍부하여, 특히 행복의 맥락 특수 마커를 포착하는 데 단어 임베딩보다 뛰어난 성능을 보였다.
• 프로필 특징는 개별적으로는 예측 성능이 제한적이지만, 다른 특징과 조합될 경우 약간의 향상을 보였으며, 이는 강력한 성능을 내기 위해 인구 통계적 맥락이 필수적이지 않음을 시사한다.
• XGBoost 기반 포레스트와 CNN 분류기 모두 경쟁적인 결과를 보였으며, XGBoost는 이진 분류에서 뛰어난 성능을 보였고, CNN는 다중 클래스 개념 예측 및 준지도 학습에서 뛰어난 성능을 보였다.
• 가족, 경력, 쇼핑 등의 개념에 대해 가장 흔한 문법적 패턴은 명확하고 예측 가능했으며, 높은 패턴 다양성과 낮은 표준편차는 강력하고 일관된 언어적 표식을 나타냈다.
• religion과 technology는 모두 높은 패턴 다양성과 빈도를 보였지만, religion은 더 일반적이고 빈도가 높은 패턴(예: 'WENT TO')을 보였으며, 이는 더 높은 구분 능력을 의미한다.
• 기여, 사회적, 개념 작업 간에 공통된 언어적 패턴—특히 문법적 구조와 감정 어휘 사용—은 일반화 가능한 감정 분류 모델의 기초가 될 수 있는 일반적인 구성 특징임을 시사한다.