[논문 리뷰] Video (GIF) Sentiment Analysis using Large-Scale Mid-Level Ontology

Zheng Cai, Donglin Cao외 1명|arXiv (Cornell University)|2015. 06. 02.

Sentiment Analysis and Opinion Mining참고 문헌 6인용 수 4

한 줄 요약

이 논문은 감성 분석을 위한 GIF 영상의 시공간 추상화를 모델링하기 위해 심슨트 포레스트를 기반으로 한 중위 수준의 시각적 감성 온톨로지인 SentiPair Sequence를 제안한다. 어미-명사 쌍(ANP)과 동사-명사 쌍(VNP)을 순서화된 시퀀스로 조합함으로써, 감성 예측 정확도가 72.6%에 도달하여 ANP 및 VNP 기반 모델을 능가한다. 또한 연구를 지원하기 위해 6,000개의 수동으로 주석 처리된 GIF로 구성된 GSO-2015 데이터셋을 공개한다.

ABSTRACT

With faster connection speed, Internet users are now making social network a huge reservoir of texts, images and video clips (GIF). Sentiment analysis for such online platform can be used to predict political elections, evaluates economic indicators and so on. However, GIF sentiment analysis is quite challenging, not only because it hinges on spatio-temporal visual contentabstraction, but also for the relationship between such abstraction and final sentiment remains unknown.In this paper, we dedicated to find out such relationship.We proposed a SentiPairSequence basedspatiotemporal visual sentiment ontology, which forms the midlevel representations for GIFsentiment. The establishment process of SentiPair contains two steps. First, we construct the Synset Forest to define the semantic tree structure of visual sentiment label elements. Then, through theSynset Forest, we organically select and combine sentiment label elements to form a mid-level visual sentiment representation. Our experiments indicate that SentiPair outperforms other competing mid-level attributes. Using SentiPair, our analysis frameworkcan achieve satisfying prediction accuracy (72.6%). We also opened ourdataset (GSO-2015) to the research community. GSO-2015 contains more than 6,000 manually annotated GIFs out of more than 40,000 candidates. Each is labeled with both sentiment and SentiPair Sequence.

연구 동기 및 목표

• 노이즈, 비정규 길이, 상징성 및 추상성으로 인해 복잡한 GIF 감성 분석 문제를 해결하기 위해.
• GIF 내 시공간 감성 추상화를 포착하는 중위 수준의 시각적 표현을 개발하기 위해.
• 중위 수준의 시각적 표현과 최종 감성 판단 간의 관계를 모델링하기 위해.
• 미래 연구를 지원하기 위해 대규모로 수동으로 주석 처리된 GIF 감성 데이터셋(GSO-2015)을 구축하고 공개하기 위해.

제안 방법

• 시각적 감성 레이블 요소의 의미적 트리 구조를 정의하기 위해 WordNet을 사용하여 심슨트 포레스트를 구축한다.
• 심슨트 포레스트에서 어미-명사 쌍(ANP)과 동사-명사 쌍(VNP)을 조합하여 중위 수준의 감성 표현인 SentiPairs를 생성한다.
• GIF 내 시간적 발생 순서를 반영한 순서화된 시퀀스로 SentiPairs를 정렬하여 GIF 감성 온톨로지(GSO)를 구축한다.
• 7명의 워커를 활용한 커뮤니티 기반 주석 처리를 통해 40,000개의 후보 중 6,000개 이상의 GIF를 감성과 SentiPair 시퀀스로 주석 처리한다.
• 상관 기반 특성 선택 및 다중 분류기(SMO, 로지스틱 회귀, 랜덤 포레스트)를 적용하여 성능을 평가한다.
• GSO-2015 데이터셋을 사용하여 감성 분류기 학습 및 테스트를 수행하고, SentiPair Sequence가 ANP 및 VNP 기반 모델과 비교하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 감성 분석을 위한 GIF 영상 내 고위 수준의 시각적 추상화를 효과적으로 표현하는 방법은 무엇인가?
• RQ2 GIF에서 중위 수준의 시각적 표현과 최종 감성 판단 간의 관계는 어떠한가?
• RQ3 시각적 감성 요소의 구조화된 온톨로지가 원시 속성에 비해 감성 예측 정확도를 향상시킬 수 있는가?
• RQ4 SentiPair 시퀀스를 통해 시각적 사건의 시간적 순서를 통합함으로써 감성 모델링이 어떻게 향상되는가?

주요 결과

• SentiPair Sequence는 감성 예측 정확도 72.6%를 달성하여, ANP 전용(70.2%) 및 VNP 전용(65.8%) 기반 모델을 모두 능가한다.
• 운동성(VNP)과 정적 속성(ANP)을 통합한 SentiPair 시퀀스의 사용은 단독으로 사용하는 것보다 더 높은 성능을 이끌어낸다.
• 상관 기반 부분집합 선택을 통한 특성 선택은 사용된 중위 수준 속성의 수를 줄이면서도 높은 정확도를 유지한다.
• 감성과 SentiPair 시퀀스를 포함한 6,000개 이상의 수동 주석 처리된 GIF를 포함한 GSO-2015 데이터셋은 향후 연구를 지원하기 위해 공개된다.
• 심슨트 포레스트는 다중 의미 차원을 통해 시각적 감성 개념을 체계적으로 정렬할 수 있는 확장 가능한 의미 기반 프레임워크를 제공한다.
• 시간적 순서의 시각적 감성 요소를 모델링함으로써 짧은 영상 클립 내 감성 인식이 크게 향상됨을 입증하였다.