[논문 리뷰] Mining fine-grained opinions on closed captions of YouTube videos with an attention-RNN

Edison Marrese-Taylor, Jorge Balazs외 1명|arXiv (Cornell University)|2017. 08. 08.

Sentiment Analysis and Opinion Mining참고 문헌 17인용 수 3

한 줄 요약

이 논문은 세분화된 의견 분석을 위한 첫 번째 데이터셋인 YouTube 영상 리뷰 자막인 Youtubean을 소개하고, 복합적 감성을 모델링하기 위해 주의 메커니즘을 활용한 RNN 기반 모델을 제안한다. 이 모델은 SemEval ABSA에서 최고 성능을 기록했으며, Youtubean에서도 베이스라인 모델을 능가하지만, 모든 모델이 영상 리뷰 데이터에서 성능 저하를 보이며 구어체와 문어체 간의 도메인 차이가 의견 분석에 영향을 준다는 점을 시사한다.

ABSTRACT

Video reviews are the natural evolution of written product reviews. In this paper we target this phenomenon and introduce the first dataset created from closed captions of YouTube product review videos as well as a new attention-RNN model for aspect extraction and joint aspect extraction and sentiment classification. Our model provides state-of-the-art performance on aspect extraction without requiring the usage of hand-crafted features on the SemEval ABSA corpus, while it outperforms the baseline on the joint task. In our dataset, the attention-RNN model outperforms the baseline for both tasks, but we observe important performance drops for all models in comparison to SemEval. These results, as well as further experiments on domain adaptation for aspect extraction, suggest that differences between speech and written text, which have been discussed extensively in the literature, also extend to the domain of product reviews, where they are relevant for fine-grained opinion mining.

연구 동기 및 목표

• 유튜브 언박싱 및 리뷰 영상에서의 구어체 언어에 기반한 세분화된 의견 분석에 대한 연구 부족을 해결하기 위해.
• 유튜브 제품 리뷰 영상의 자막에서 수집한 데이터를 바탕으로 첫 번째 애너테이션된 데이터셋인 Youtubean을 구축하여, 구어체 기반 의견 분석 연구를 지원하기 위해.
• 주어진 단어 표현에 대한 주의 메커니즘을 활용해 복합적 감성을 모델링하는 주의-기반 RNN 모델을 개발하여, 동시에 요소 추출과 감성 분류를 수행하기 위해.
• 영상 리뷰(구어체)와 텍스트 리뷰(문어체) 간의 도메인 차이가 의견 분석 성능에 미치는 영향을 조사하기 위해.
• written 텍스트에서 학습된 모델을 구어체 영상 리뷰로 이식할 때 성능 저하를 완화하기 위해 도메인 적응 기법이 효과적인지 평가하기 위해.

제안 방법

• 유튜브 제품 리뷰 영상의 자막을 애너테이션하여, 요소-감성 쌍에 중점을 두고 Youtubean 데이터셋을 구축한다.
• 공유 인코더를 사용하고 단어 표현에 대한 주의를 적용하여, 동시에 요소 추출과 감성 분류를 수행하는 주의 강화 RNN 모델을 설계한다.
• 부드러운 주의 메커니즘을 사용하여 단어 표현의 볼록 조합을 계산함으로써, 감성 조합에 관련된 단어에 집중할 수 있도록 한다.
• SemEval ABSA 데이터셋과 Youtubean에서 모델을 엔드 투 엔드로 훈련하며, 요소 레이블링과 감성 분류에 모두 교차 엔트로피 손실를 사용한다.
• 요소 추출(AE), 감성 분류(SC), 복합 요소-감성 분류(AESC)의 F1 스코어를 사용하여 모델 성능을 평가하고, RNN 및 BiLSTM 베이스라인과 비교한다.
• 기존의 텍스트 기반 리뷰에서 영상 리뷰로의 이식 가능성을 평가하기 위해, Youtubean에서의 미세조정 및 다양한 소스의 사전 학습된 임베딩 사용과 같은 도메인 적응 기법을 적용한다.

실험 결과

연구 질문

• RQ1 written 제품 리뷰에서 학습된 의견 분석 모델의 성능이 유튜브 자막에 기록된 구어체 영상 리뷰로 일반화되는 정도는 어떠한가?
• RQ2 수작업된 언어학적 특징에 의존하지 않고도 주의-기반 RNN 모델이 복합 요소 추출 및 감성 분류에서 최고 성능을 달성할 수 있는가?
• RQ3 written 리뷰에서 spoken 리뷰 도메인으로의 이식 시 도메인 적응 기법이 모델 성능 향상에 얼마나 기여하는가?
• RQ4 written 리뷰와 spoken 리뷰 간의 언어 패턴 차이가 의견 분석 성능에 미치는 영향은 무엇인가?
• RQ5 왜 모델은 영상 리뷰 데이터에서 특히 부정 감성 클래스에서 성능이 열악한가? 주의 메커니즘이 이를 완화할 수 있는가?

주요 결과

• 주의-기반 RNN 모델은 수작업된 특징이 필요 없이도 SemEval ABSA 벤치마크에서 복합 요소 추출 및 감성 분류에 대해 최고 성능을 기록하였다.
• Youtubean 데이터셋에서 주의-기반 RNN은 요소 추출 및 복합 분류 모두에서 베이스라인 RNN을 능가하였으며, 위키백과 임베딩을 사용할 경우 F1 스코어는 각각 52.32와 48.05를 기록하였다.
• SemEval에 비해 Youtubean에서 모든 모델이 상당한 성능 저하를 보였으며, 이는 문어체와 구어체 간의 도메인 이동이 존재함을 시사한다.
• 베이스라인 RNN에 적용된 도메인 적응 기법은 요소 추출에서 최대 3.56 F1 스코어 향상을 이끌었지만, 성능 향상은 제한적이고 모델 간으로 일관되지 않았다.
• 모델은 특히 부정 감성 클래스에서 가장 어려움을 겪었으며, 이는 데이터 불균형 또는 구어체에서의 복합 부정 표현과 관련된 과제일 수 있다.
• Senna 임베딩이 Youtubean에서 다른 임베딩보다 일관되게 슈퍼리어하지 않아, 일반 목적의 임베딩이 작업 특화 임베딩보다 더 구어체 기반 의견 분석에 적합할 수 있음을 시사한다.