[論文レビュー] Mining fine-grained opinions on closed captions of YouTube videos with an attention-RNN

Edison Marrese-Taylor, Jorge Balazs+1 more|arXiv (Cornell University)|Aug 8, 2017

Sentiment Analysis and Opinion Mining参考文献 17被引用数 3

ひとこと要約

本稿では、細粒度の意見抽出を目的としたYouTube動画レビューの字幕データセットであるYoutubeanを初めて提案し、アテンションを組み込んだRNNモデルを用いて、同時に特徴抽出とセンチメント分類を実行する手法を提案する。このモデルはSemEval ABSAで最先端の性能を達成し、Youtubeanでもベースラインを上回るが、すべてのモデルが動画レビューのデータに対して顕著な性能低下を示しており、意見抽出における話상語と書言語のドメイン差が顕著であることが示唆される。

ABSTRACT

Video reviews are the natural evolution of written product reviews. In this paper we target this phenomenon and introduce the first dataset created from closed captions of YouTube product review videos as well as a new attention-RNN model for aspect extraction and joint aspect extraction and sentiment classification. Our model provides state-of-the-art performance on aspect extraction without requiring the usage of hand-crafted features on the SemEval ABSA corpus, while it outperforms the baseline on the joint task. In our dataset, the attention-RNN model outperforms the baseline for both tasks, but we observe important performance drops for all models in comparison to SemEval. These results, as well as further experiments on domain adaptation for aspect extraction, suggest that differences between speech and written text, which have been discussed extensively in the literature, also extend to the domain of product reviews, where they are relevant for fine-grained opinion mining.

研究の動機と目的

• YouTubeの開封動画やレビュー動画における話言語からの意見抽出に関する研究の不足に対処する。
• YouTube製品レビュー動画の字幕から構築された最初のアノテート済みデータセット、Youtubeanを提供する。
• アテンションを用いて構成的センチメントをモデル化することで、共通のエンコーダーを用いて同時に特徴抽出とセンチメント分類を実行するアテンション-RNNモデルを開発する。
• 話言語（動画）と書言語（テキスト）レビューの間のドメイン差が意見抽出の性能に与える影響を調査する。
• 書言語レビューで学習したモデルを話言語の動画レビューに適用する際、ドメイン適応技術が性能低下を緩和できるかどうかを評価する。

提案手法

• YouTube製品レビュー動画の字幕をアノテートし、特徴-センチメントペアに焦点を当ててYoutubeanデータセットを構築する。
• 共有エンコーダーを用い、語の表現に対するアテンションを活用することで、同時に特徴抽出とセンチメント分類を実行するアテンション拡張RNNモデルを設計する。
• ソフトアテンションメカニズムを用いて語の表現の凸結合を計算し、センチメント構成に必要な語に注目できるようにする。
• エンドツーエンドでSemEval ABSAデータセットとYoutubeanの両方でモデルを学習し、特徴ラベル付けとセンチメント分類の両方に対して交差エントロピー損失を用いる。
• F1スコアを用いて、特徴抽出（AE）、センチメント分類（SC）、および統合的特徴-センチメント分類（AESC）の評価を行い、RNNおよびBiLSTMベースラインと比較する。
• ドメイン適応技術として、Youtubeanでのファインチューニングや、異なるソースからの事前学習済み埋め込みを用いることで、書言語から話言語レビューへのドメイン移行の可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 書言語の製品レビューで学習した意見抽出モデルの性能は、YouTubeの字幕に記録された話言語の動画レビューにどの程度一般化できるか？
• RQ2 手作業で作成した言語的特徴に依存せずに、アテンション-RNNモデルが統合的特徴抽出とセンチメント分類で最先端の性能を達成できるか？
• RQ3 ドメイン適応技術は、書言語から話言語レビューのドメインに移行する際、モデル性能をどの程度向上できるか？
• RQ4 書言語と話言語の製品レビューの間で、意見抽出の性能に影響を与える主な言語的パターンの違いは何か？
• RQ5 なぜモデルは動画レビューのデータにおいて、特にネガティブセンチメントクラスで顕著に性能が低下するのか？アテンション機構はこれを緩和できるか？

主な発見

• アテンション-RNNモデルは、手作業の特徴に依存せずに、統合的特徴抽出とセンチメント分類の分野でSemEval ABSAベンチマークで最先端の性能を達成した。
• Youtubeanデータセットでは、アテンション-RNNはRNNベースラインを両方のタスクで上回り、Wikipedia埋め込みを用いた場合、特徴抽出のF1スコアは52.32、統合分類のF1スコアは48.05であった。
• SemEvalと比較して、すべてのモデルがYoutubeanで顕著な性能低下を示しており、書言語と話言語レビューの間にはドメインシフトが存在することが示唆された。
• RNNベースラインにドメイン適応技術（ファインチューニングや異なるソースの事前学習埋め込み）を適用した結果、特徴抽出のF1スコアが最大3.56向上したが、モデル間で性能向上は限られ、一貫性に欠けていた。
• モデルは特にネガティブセンチメントクラスで最も困難を示しており、データの不均衡や話言語における構成的否定の影響が原因である可能性がある。
• Senna埋め込みは、Youtubeanで他の埋め込みよりも一貫して優れてはおらず、一般向けの埋め込みがタスク固有のものよりも、話言語の意見抽出に適している可能性を示唆した。