[논문 리뷰] Polarity and Intensity: the Two Aspects of Sentiment Analysis

Leimin Tian, Catherine Lai외 1명|arXiv (Cornell University)|2018. 07. 04.

Sentiment Analysis and Opinion Mining참고 문헌 18인용 수 4

한 줄 요약

이 논문은 감성 점수를 극성과 강도로 분해하는 다중 작업 학습 프레임워크를 제안하며, 단모달 및 다중모달 모델이 이 두 성분을 함께 예측함으로써 성능 향상을 얻음을 보여준다. CMU-MOSI에서의 실험 결과, 시각 모달은 강도를 전달하는 데 약한 편이며, 청각 및 언어 모달은 극성 전달에 어려움을 겪는 것으로 나타났다. 또한 모달 융합은 상호보완적인 강점을 조합함으로써 성능 향상을 이룬다.

ABSTRACT

Current multimodal sentiment analysis frames sentiment score prediction as a general Machine Learning task. However, what the sentiment score actually represents has often been overlooked. As a measurement of opinions and affective states, a sentiment score generally consists of two aspects: polarity and intensity. We decompose sentiment scores into these two aspects and study how they are conveyed through individual modalities and combined multimodal models in a naturalistic monologue setting. In particular, we build unimodal and multimodal multi-task learning models with sentiment score prediction as the main task and polarity and/or intensity classification as the auxiliary tasks. Our experiments show that sentiment analysis benefits from multi-task learning, and individual modalities differ when conveying the polarity and intensity aspects of sentiment.

연구 동기 및 목표

• 감성 점수 예측이 극성과 강도를 보조 과제로 포함한 다중 작업 학습을 통해 유의미한 이점을 얻는지 조사하기 위해
• 각 모달(청각, 시각, 언어)이 감성의 극성과 강도 측면을 어떻게 다를 수 있는지 분석하기 위해
• 다중 작업 학습이 단모달 및 다중모달 모델에 감성 분석에서 서로 다른 영향을 미치는지 이해하기 위해
• 다중모달 감성 커뮤니케이션에서 내모달 및 간모달 역학에 대한 세밀한 이해를 제공하기 위해
• 감성 측면(polarity/intensity)과 인간의 다중모달 커뮤니케이션에서의 정서 차원(valence/arousal) 간의 관계를 탐색하기 위해

제안 방법

• 감성 점수 회귀를 주 과제로 하고, 극성 및/또는 강도 분류를 보조 과제로 포함하는 다중 작업 학습 프레임워크를 제안한다.
• CMU-MOSI 데이터셋을 사용하여 초기 융합, 후기 융합, 초기-후기 융합 전략을 적용한 단모달 모델(청각, 시각, 언어) 및 다중모달 융합 모델을 훈련한다.
• 감성 점수 예측에 대해 평균 절대 오차(MAE)와 상관계수(CC)를 평가 지표로 사용한다.
• 분류 과제(극성 및 강도)에는 교차 엔트로피 손실을, 회귀 과제(감성 점수)에는 평균 제곱 오차를 적용한다.
• 모든 과제 간에 공유된 표현 학습 전략을 사용하여 일반화 능력과 특징 정렬을 향상시킨다.
• 다양한 융합 전략(초기, 후기, 초기-후기 융합)과 보조 과제 유무에 따른 성능을 비교한다.

실험 결과

연구 질문

• RQ1 극성과 강도를 보조 과제로 포함한 다중 작업 학습이 감성 점수 예측에 유의미한 이점을 제공하는가?
• RQ2 각 모달이 감성의 극성과 강도 측면을 서로 다른 방식으로 전달하는가?
• RQ3 다중 작업 학습이 단모달 및 다중모달 감성 분석 모델에 서로 다른 영향을 미치는가?
• RQ4 각 모달이 극성과 강도를 전달하는 데 가지는 강점이 간모달 융합 성능과 어떻게 관련되는가?
• RQ5 모달이 감성 측면을 전달하는 방식과 정서 차원(예: 밸런스/각성도)을 전달하는 방식 사이에 유사성이 존재하는가?

주요 결과

• 모든 단모달 모델이 극성 및/또는 강도를 보조 과제로 포함한 다중 작업 학습을 통해 감성 점수 예측 성능을 향상시켰다.
• 시각 모달은 극성에 비해 강도를 전달하는 데 뚜렷하게 열악한 편이었으며, 청각 및 언어 모달은 극성 전달에 덜 효과적이었다.
• 다중모달 모델은 모달 융합으로부터 이점을 얻었지만, 다중 작업 학습으로 인한 성능 향상은 단모달 모델에 비해 다소 뚜렷하지 않았다. 이는 융합이 모달 특유의 약점을 보완함을 시사한다.
• 가장 높은 성능을 보인 모델(극성과 강도를 모두 보조 과제로 포함한 초기 융합)은 CMU-MOSI 테스트 세트에서 상관계수(CC) 0.482와 MAE 1.172를 기록했다.
• 동일한 작업에서 인간의 성능은 CC 0.820과 MAE 0.710을 기록했으며, 이는 자동화된 시스템의 성능 향상 여지가 여전히 크다는 것을 시사한다.
• 결과는 감성 측면(polarity/intensity)과 정서 차원(valence/arousal) 간의 개념적·실험적 유사성을 지지하며, 양 분야 모두에서 유사한 모달 특화 패턴이 관찰되었다.