[論文レビュー] A multimodal movie review corpus for fine-grained opinion mining

Alexandre Garcia, Slim Essid+2 more|arXiv (Cornell University)|Feb 26, 2019

Sentiment Analysis and Opinion Mining参考文献 22被引用数 9

ひとこと要約

本稿は、文およびトークンの2段階の粒度レベルで詳細な意見アノテーションを備えた、新しいマルチモーダル映画レビューコーパスを紹介している。このコーパスは階層的意見予測を可能にする。本稿では、話者のレビューに向けた構造化されたアノテーションフレームワークを提示し、中程度のアノテータ間整合性を達成した。また、低リソースの意見ラベルに対しても意味のある特徴を学習できる線形構造予測器が有効であることを示している。

ABSTRACT

In this paper, we introduce a set of opinion annotations for the POM movie review dataset, composed of 1000 videos. The annotation campaign is motivated by the development of a hierarchical opinion prediction framework allowing one to predict the different components of the opinions (e.g. polarity and aspect) and to identify the corresponding textual spans. The resulting annotations have been gathered at two granularity levels: a coarse one (opinionated span) and a finer one (span of opinion components). We introduce specific categories in order to make the annotation of opinions easier for movie reviews. For example, some categories allow the discovery of user recommendation and preference in movie reviews. We provide a quantitative analysis of the annotations and report the inter-annotator agreement under the different levels of granularity. We provide thus the first set of ground-truth annotations which can be used for the task of fine-grained multimodal opinion prediction. We provide an analysis of the data gathered through an inter-annotator study and show that a linear structured predictor learns meaningful features even for the prediction of scarce labels. Both the annotations and the baseline system are made publicly available. https://github.com/eusip/POM/

研究の動機と目的

• 話者の動画ベースのレビューにおける詳細な意見構造に対して一貫性があり、柔軟なアノテーションフレームワークを開発すること。
• マルチモーダルな意見抽出のための階層的アノテーションを備えた大規模で公開可能なデータセットを構築すること。
• 複数の粒度レベルで意見の各成分（極性、アスペクト、ターゲット）を同時に予測できるようにすること。
• 意見抽出タスクにおける主観的・曖昧で、発話的で不規則な言語のモデリングを改善すること。
• アノテーションの品質を、アノテータ間整合性とベースラインモデルの性能によって検証すること。

提案手法

• 粗い（意見を含むスパン）と細かい（極性・アスペクト・ターゲットの成分レベルのスパン）の2段階のアノテーションスキーマを設計する。
• 推薦、好み、およびアスペクトタイプ（例：脚本、音楽、雰囲気）を含む、特定の意見カテゴリーを定義する。
• 入出力および出力同士の特徴関数を用いた線形CRFを用いた構造予測モデルを実装する。
• 特徴関数を $ f_{k-(io)}(y_t, x_t) = 1 $ の形で定義し、$ y_t = y_k $ かつ $ x_t = x_k $ の場合にのみ1を返す。学習された重みは $ heta_k $ とする。
• 文レベルの極性とアスペクト予測のための別々のモデルを訓練し、上位スコアの特徴を用いてモデルの挙動を解釈する。
• 異なる粒度レベルおよびラベルの希少性状況におけるアノテータ間整合性とモデル性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 不規則な発話的表現や文法的ばらつきを含む自然な話者のレビューに対して、どのように一貫した意見アノテーションを適用できるか？
• RQ2 マルチモーダルな意見アノテーションにおいて、文レベルとトークンレベルの粒度の違いに起因するアノテータ間整合性はどの程度か？
• RQ3 稀な意見ラベル（例：希少なアスペクト）に対しても、線形構造予測器が意味のある特徴を学習できるか？
• RQ4 特定の語彙的手がかり（例：評価的形容詞、句読点）は、極性およびアスペクト予測にどのように寄与するか？
• RQ5 階層的で多段階の粒度アノテーションは、意見抽出モデルの性能をどの程度向上させられるか？

主な発見

• トークンレベルではアノテータ間整合性が低かったが、アノテーションを文レベルに緩和したことで著しく向上した。
• 線形構造予測器は意味のある特徴重みを学習しており、評価的形容詞（例：'amazing'、'boring'）は極性予測において高いスコアを得ていた。
• 句読点や接続詞（'but' や 'and'）はスパンレベルでの意見境界を示す強力な指標であり、高い特徴重みを示していた。
• 'Overall'（全体的）の意見カテゴリは、主に極性語（例：'great'、'bad'）によって示されており、ガイドラインに従い、特定のアスペクトが指定されていない場合に適用される。
• レアカテゴリ（例：Music and Sound effects）のアスペクト予測性能は低く、F1 = 0.04であった。主な要因は再現率の低さと語彙の多様性の不足であった。
• モデルの上位スコア特徴から、アスペクト予測がコンテンツ語（例：'plot'、'soundtrack'）と話法的マーカーの組み合わせに依存していることが明らかになった。一部の非特異的語（例：'good'）は、低スコア特徴を支配していた。