[논문 리뷰] User-level sentiment analysis incorporating social networks

Chenhao Tan, Lillian Lee외 4명|arXiv (Cornell University)|2011. 09. 27.

Sentiment Analysis and Opinion Mining참고 문헌 23인용 수 35

한 줄 요약

이 논문은 텍스트 정보 외에 사회적 네트워크 관계—특히 트위터의 팔로워/팔로잉 및 @멘션 네트워크—를 활용하여 사용자 수준의 감성 분석 정확도를 향상시키는 준지도 학습 모델을 제안한다. 그래픽 모델을 사용해 연결된 사용자 간의 감성 의존성을 모델링함으로써, 엣지 품질이 높은 경우 조밀하지 않은 네트워크에서도 텍스트 전용 기준 모델에 비해 통계적으로 유의미한 성능 향상을 달성한다.

ABSTRACT

We show that information about social relationships can be used to improve user-level sentiment analysis. The main motivation behind our approach is that users that are somehow "connected" may be more likely to hold similar opinions; therefore, relationship information can complement what we can extract about a user's viewpoints from their utterances. Employing Twitter as a source for our experimental data, and working within a semi-supervised framework, we propose models that are induced either from the Twitter follower/followee network or from the network in Twitter formed by users referring to each other using "@" mentions. Our transductive learning results reveal that incorporating social-network information can indeed lead to statistically significant sentiment-classification improvements over the performance of an approach based on Support Vector Machines having access only to textual features.

연구 동기 및 목표

• 감성 분석에 사회적 네트워크 구조를 통합하여 사용자 수준의 감성 분류 성능을 향상시키는 것.
• 사회적 네트워크 내 사용자 관계가 공유 감성과 관련이 있는지 조사하여 동질성 가설을 검증하는 것.
• 팔로워/팔로잉 네트워크와 @멘션 네트워크 등 서로 다른 네트워크 유형이 감성 분류 성능에 미치는 영향을 평가하는 것.
• 상호 팔로우 관계(동질성 전용)와 방향성 있는 관계(주의 기반 포함) 중 어느 것이 더 나은 결과를 낼 수 있는지 결정하는 것.
• 준지도 학습 환경에서 미분류 데이터의 영향과 엣지 품질이 모델 성능에 미치는 영향을 평가하는 것.

제안 방법

• 저자들은 사용자 감성 간 의존성을 모델링하기 위해 은닉 그래픽 모델(HGM)을 사용하는 전도적 학습 프레임워크를 적용한다.
• 모델은 방향성 있는 팔로워/팔로잉 그래프와 사용자가 다른 사람을 언급하는 @멘션 네트워크라는 두 가지 유형의 사회적 네트워크를 통합한다.
• 매개변수 추정은 학습 기반 접근 방식(HGM-Learning)을 사용하며, 기준 모델로는 다수결 투표 방식(HGM-NoLearning)을 사용한다.
• 감성 분류를 사용자 수준의 작업으로 간주하여, 각 사용자의 모든 트윗에 걸친 감성을 집계하면서 네트워크 구조를 활용한다.
• 모델는 라벨이 부여된 사용자 수가 적은 준지도 학습 설정을 사용하며, 라벨이 없는 사용자를 통해 네트워크를 통해 감성 정보를 전파한다.
• 성능 평가 시에는 라벨이 부여된 사용자들의 가장 큰 연결 성분에서의 정확도를 사용하며, 'Lakers'와 'Fox News'와 같은 주제별 교차 검증을 수행한다.

실험 결과

연구 질문

• RQ1 사회적 네트워크 구조를 통합함으로써 텍스트 기반 특징 외에도 사용자 수준의 감성 분류 성능이 향상되는가?
• RQ2 팔로워/팔로잉 네트워크와 @멘션 네트워크 중 어느 것이 감성 분류 성능에서 더 우수한가?
• RQ3 서로 팔로우하는 관계(동질성 전용)가 방향성 있는 팔로우 관계(주의 기반 포함)보다 감성 예측에서 더 우수한가?
• RQ4 라벨이 없는 사용자 수가 늘어날수록 모델 성능에 어떤 영향을 미치며, 학습 기반 매개변수 추정이 성능 저하를 완화하는가?
• RQ5 희박한 네트워크에서 고품질 엣지가 여전히 뚜렷한 성능 향상을 이끌 수 있는가?

주요 결과

• 사회적 네트워크 정보를 통합함으로써 텍스트 전용 SVM 기준 모델에 비해 사용자 수준의 감성 분류 성능이 통계적으로 유의미하게 향상된다.
• HGM-Learning 모델은 HGM-NoLearning 기준 모델보다 성능이 뛰어나, 학습 기반 매개변수 추정이 라벨이 없는 데이터를 효과적으로 활용함을 시사한다.
• 'Lakers'와 'Fox News'와 같은 일부 주제에서는 네트워크 밀도가 낮음에도 불구하고 성능 향상이 뚜렷했으며, 이는 엣지 품질이 밀도보다 더 중요함을 시사한다.
• 동질성과 주의 기반 연결을 모두 포함한 조합(예: 상호 및 방향성 연결)은 때로 동질성 전용 연결보다 성능이 뛰어났지만, 주제에 따라 다름을 보였다.
• 매우 적은 엣지가 존재하는 상황에서도 고품질 연결(예: 강한 감성 상관관계)이 뚜렷한 성능 향상을 이끌어내어, 희박성에 대해 뛰어난 내구성을 입증했다.
• 라벨이 없는 데이터가 증가할수록 모델 성능이 향상되었으며, 특히 학습 기반 매개변수 추정을 사용할 경우 더욱 두드러져 스케일링 가능성과 안정성을 보여주었다.