[논문 리뷰] Modeling Emotion Influence from Images in Social Networks

Xiaohui Wang, Jia Jia외 2명|arXiv (Cornell University)|2014. 01. 17.

Image Retrieval and Classification Techniques참고 문헌 14인용 수 3

한 줄 요약

이 논문은 시각적 콘텐츠, 시간적 정서 패턴, 사회적 네트워크 영향을 통합하여 소셜 네트워크에서 이미지가 정서에 미치는 영향을 포괄하는 확률적 인과 그래프 모델을 제안한다. 이 모델은 SVM 대비 정서 예측 정확도를 5% 향상시켜, 소셜 영향력이 Flickr와 같은 플랫폼에서 이미지 기반 정서 분류에 있어 상당히 중요한 역할을 한다는 것을 입증한다.

ABSTRACT

Images become an important and prevalent way to express users' activities, opinions and emotions. In a social network, individual emotions may be influenced by others, in particular by close friends. We focus on understanding how users embed emotions into the images they uploaded to the social websites and how social influence plays a role in changing users' emotions. We first verify the existence of emotion influence in the image networks, and then propose a probabilistic factor graph based emotion influence model to answer the questions of "who influences whom". Employing a real network from Flickr as experimental data, we study the effectiveness of factors in the proposed model with in-depth data analysis. Our experiments also show that our model, by incorporating the emotion influence, can significantly improve the accuracy (+5%) for predicting emotions from images. Finally, a case study is used as the anecdotal evidence to further demonstrate the effectiveness of the proposed model.

연구 동기 및 목표

• 이미지 기반 소셜 네트워크(예: Flickr)에서 정서 영향력이 존재하는지 조사하는 것.
• 사용자의 정서가 친구가 업로드한 이미지로 영향을 받는 방식을 체계적으로 모델링하는 확률적 모델을 개발하는 것.
• 사회적 영향력, 시각적 특징, 시간 동적 패턴을 통합하여 이미지에서의 정서 예측 정확도를 향상시키는 것.
• 실제 Flickr 데이터와 사례 연구를 통해 모델의 효과성을 실증적으로 평가하는 것.

제안 방법

• 정서 영향력을 종합적으로 모델링하기 위해, 콘텐츠 상관관계(시각적 특징), 시간적 상관관계(과거 정서), 사회적 상관관계(친구 영향)를 통합한 확률적 인과 그래프 모델을 제안한다.
• 친구의 정서가 사용자의 정서에 미치는 영향을 표현하기 위해 요인 함수를 사용하며, 즉각적, 안정적, 일시적인 영향 패턴에 대한 특정 함수를 정의한다.
• 이미지, 사용자 이력, 사회적 네트워크 구조에서의 증거를 통합하여 인과 그래프 상에서 최대 사후확률(MAP) 추정을 통해 정서 예측을 수행한다.
• 모델은 12주 동안 4,725명의 사용자로부터 125만 장의 이미지를 포함한 실제 Flickr 데이터셋을 기반으로 훈련 및 평가된다.
• 각 요소(시각적, 시간적, 사회적)가 예측 성능에 기여하는 정도를 평가하기 위해 특징 선택 및 추출 실험을 실시한다.

실험 결과

연구 질문

• RQ1 사용자가 정서를 표현하기 위해 이미지를 공유하는 이미지 기반 소셜 네트워크에서 정서 영향력이 존재하는가?
• RQ2 정서가 이미지를 통해 표현될 때, 사용자 간의 사회적 영향력을 어떻게 모델링하고 정량화할 수 있는가?
• RQ3 시각적 특징, 시간적 정서 패턴, 사회적 네트워크 구조는 정서 예측 정확도에 어느 정도 기여하는가?
• RQ4 즉각적, 안정적, 일시적인 정서 영향 패턴 중 어떤 것이 정서 예측에 가장 기여하는가?

주요 결과

• 일치 샘플링 테스트 결과, 사용자의 친구 중 '행복' 이미지를 2개 이상 업로드한 경우, 그 사용자 자신도 '행복' 이미지를 업로드할 가능성은 거의 두 배로 증가한다.
• 제안된 모델은 SVM 대비 정서 예측 정확도를 5% 향상시키며, 모든 정서 카테고리에서 F1-측정치에 뚜렷한 향상이 관찰된다.
• '안정적 영향' 요소(f5)가 성능 향상에 가장 기여하며, 이는 정서적 영향력이 일시적이지 않고 장기간 지속된다는 것을 시사한다.
• 사회적 영향력 요소를 제거한 모델(f4)은 성능 저하가 가장 크게 발생하여, 사회적 상관관계가 모델에서 가장 영향력 있는 요소임을 확인한다.
• 사용자 마이크의 사례 연구 결과, 모델은 시각적 및 시간적 관측 결과와 일치하는 이중 정서 영향력(예: 마이크 → 친구 d)을 정확히 추론하였다.