[논문 리뷰] A multimodal movie review corpus for fine-grained opinion mining

Alexandre Garcia, Slim Essid외 2명|arXiv (Cornell University)|2019. 02. 26.

Sentiment Analysis and Opinion Mining참고 문헌 22인용 수 9

한 줄 요약

이 논문은 문장 및 토큰 수준에서 세분화된 의견 주석을 가진 새로운 다중모달 영화 리뷰 코퍼스를 소개한다. 이는 계층적 의견 예측을 가능하게 한다. 말하기 기반 리뷰에 대한 구조화된 주석 프레임워크를 제안하고, 중간 정도의 평가자 간 일치도를 달성하며, 선형 구조 예측 모델이 자원이 적은 의견 레이블에 대해서도 의미 있는 특징을 학습할 수 있음을 보여준다.

ABSTRACT

In this paper, we introduce a set of opinion annotations for the POM movie review dataset, composed of 1000 videos. The annotation campaign is motivated by the development of a hierarchical opinion prediction framework allowing one to predict the different components of the opinions (e.g. polarity and aspect) and to identify the corresponding textual spans. The resulting annotations have been gathered at two granularity levels: a coarse one (opinionated span) and a finer one (span of opinion components). We introduce specific categories in order to make the annotation of opinions easier for movie reviews. For example, some categories allow the discovery of user recommendation and preference in movie reviews. We provide a quantitative analysis of the annotations and report the inter-annotator agreement under the different levels of granularity. We provide thus the first set of ground-truth annotations which can be used for the task of fine-grained multimodal opinion prediction. We provide an analysis of the data gathered through an inter-annotator study and show that a linear structured predictor learns meaningful features even for the prediction of scarce labels. Both the annotations and the baseline system are made publicly available. https://github.com/eusip/POM/

연구 동기 및 목표

• 말하기 기반의 비디오 리뷰에서 세분화된 의견 구조를 일관되고 유연하게 주석화할 수 있는 프레임워크를 개발하기 위해.
• 다중모달 의견 탐색을 위한 계층적 의견 주석이 있는 대규모 공개 데이터셋을 구축하기 위해.
• 다양한 정밀도 수준에서 의견 구성 요소(극성, 요소, 대상)의 동시 예측을 가능하게 하기 위해.
• 의견 탐색 작업에서 주관적이고 모호하며 불완전한 말하기 언어의 모델링을 향상시키기 위해.
• 평가자 간 일치도와 기준 모델 성능을 통해 주석 품질을 검증하기 위해.

제안 방법

• 粗모양(의견이 포함된 구간)과 세밀모양(극성, 요소, 대상에 대한 구성 요소 수준의 구간)으로 이루어진 이중 수준 주석 체계를 설계하기 위해.
• 추천, 선호도 및 요소 유형(예: 시나리오, 음악, 분위기 등)을 포함한 특정 의견 카테고리 정의하기 위해.
• 입력-출력 및 출력-출력 특징 함수를 사용한 선형 CRF를 이용한 구조 예측 모델 구현하기 위해.
• 학습된 가중치 $ \theta_k $ 를 가진 형태의 특징 함수 $ f_{k-(io)}(y_t, x_t) = 1 $ 이 $ y_t = y_k $ 이고 $ x_t = x_k $ 를 만족할 경우 적용하기 위해.
• 문장 수준의 극성 및 요소 예측을 위한 별도의 모델을 훈련하고, 최상위 점수를 받은 특징을 사용해 모델 행동을 해석하기 위해.
• 다양한 정밀도 수준과 레이블 부족 조건에서 평가자 간 일치도 및 모델 성능 보고하기 위해.

실험 결과

연구 질문

• RQ1 불완전한 말하기 리뷰에서 불완전성과 문법적 다양성이 있는 즉흥적인 말하기 리뷰에 대해 의견 주석을 일관되게 적용할 수 있는 방법은 무엇인가?
• RQ2 다중모달 의견 주석에서 다양한 정밀도 수준(문장 대비 토큰)에서 평가자 간 일치도는 어떻게 되는가?
• RQ3 희귀 의견 레이블(예: 희귀 요소)에 대해서도 선형 구조 예측 모델이 의미 있는 특징을 학습할 수 있는가?
• RQ4 특정 어휘적 신호(예: 평가적 형용사, 구두점)는 극성 및 요소 예측에 어떻게 기여하는가?
• RQ5 계층적이고 다중 정밀도 수준의 주석은 얼마나 의견 탐색 모델의 성능을 향상시킬 수 있는가?

주요 결과

• 토큰 수준에서 평가자 간 일치도는 낮았지만, 주석을 문장 수준으로 완화함으로써 크게 향상되었다.
• 선형 구조 예측 모델은 의미 있는 특징 가중치를 학습했으며, 평가적 형용사(예: 'amazing', 'boring')가 극성 예측에 대해 높은 점수를 받았다.
• 구두점과 'but', 'and'와 같은 접속사가 스파니 수준에서 의견 경계의 강력한 지표로 작용했으며, 높은 특징 가중치를 보였다.
• 'Overall' 의견 카테고리는 주로 극성 어휘(예: 'great', 'bad')에 의해 신호되었으며, 이는 특정 요소가 대상이 아닐 경우 적용된다는 주석 지침과 일치했다.
• 희귀 카테고리(예: Music and Sound effects, F1 = 0.04)에 대해 요소 예측 성능은 낮았는데, 주로 재현율이 낮고 어휘 다양성이 부족하기 때문이었다.
• 모델의 최상위 점수를 받은 특징들은 요소 예측이 내용어(예: 'plot', 'soundtrack')와 논의 마커의 조합에 의존함을 드러냈으며, 일부 비특수 어휘(예: 'good')는 저점수 특징에서 지배적인 역할을 했다.