[論文レビュー] Better Document-level Sentiment Analysis from RST Discourse Parsing

Parminder Bhatia, Yangfeng Ji+1 more|arXiv (Cornell University)|Sep 4, 2015

Sentiment Analysis and Opinion Mining参考文献 43被引用数 19

ひとこと要約

本稿では、文書レベルの感情分析を向上させるために、修辞的構造理論（RST）を用いたディス course 解析を提案する。RSTのディス course 構造を活用して、感情寄与度を再重み付けするか、感情をディス course 樹木に沿って再帰的に伝搬することで、感情分析の性能を向上させる。シンプルな再重み付け手法と、RST 樹木上の再帰的ニューラルネットワークの両方が、標準的な語彙ベースおよびbag-of-words分類器を著しく上回り、特に後者はベンチマークデータセットで最先端の性能を達成している。

ABSTRACT

Discourse structure is the hidden link between surface features and document-level properties, such as sentiment polarity. We show that the discourse analyses produced by Rhetorical Structure Theory (RST) parsers can improve document-level sentiment analysis, via composition of local information up the discourse tree. First, we show that reweighting discourse units according to their position in a dependency representation of the rhetorical structure can yield substantial improvements on lexicon-based sentiment analysis. Next, we present a recursive neural network over the RST structure, which offers significant improvements over classification-based methods.

研究の動機と目的

• RSTディス course 構造が、従来のbag-of-wordsや語彙ベースの手法を超えて、文書レベルの感情分析を向上させられるかどうかを調査すること。
• 近年著しく向上した現代的で正確なRSTパーサー（過去のシステムに比べて大幅に改善）が、感情分類の下流タスクにおいて有効であるかを評価すること。
• 2つの新しいアーキテクチャ、すなわちディス course 意識的な再重み付けと、RST 樹木上の再帰的ニューラルネットワークの設計および評価を行うこと。
• 感情語の数え上げだけでは誤解を招く多文書の文脈的曖昧性を、ディス course 構造が解消できることを示すこと。
• 既存の感情分析パイプラインに簡単に統合可能な実用的で即時利用可能なアプローチを提供すること。

提案手法

• RST 樹木の依存関係に類似した表現におけるディス course ユニットの位置に基づいて、事前に定義された関数または少量のラベル付きデータから学習された重みを用いて、ディス course ユニットを再重み付けすること。
• 子ユニットの表現を学習された重み行列を用いて組み合わせ、感情スコアをRSTパースツリーに沿って上位に伝搬する再帰的ニューラルネットワーク（RNN）を構築すること。
• DPLP RSTパーサー（JiとEisenstein, 2014）をディス course パーサーとして使用し、ディス course 関係同定タスクで最先端のFスコアを達成している。
• RSTベースの手法を語彙ベースの感情分析および教師あり分類モデルに適用し、既存のシステムとの統合を可能にすること。
• RST 樹木構造に沿ってバックプロパゲーションを適用し、感情スコアをターゲットとして、再帰モデルをエンドツーエンドで学習すること。
• 両手法をPangとLee（2004）のデータセットで評価し、ベースラインの語彙ベースおよびbag-of-words分類器と性能を比較すること。

実験結果

リサーチクエスチョン

• RQ1 RSTパーサーからのディス course 構造は、表面的な語の数え上げを超えて、文書レベルの感情分析を向上させられるか？
• RQ2 ディス course ユニットがRST 樹木における位置と、全体の感情極性を決定する上でその重要性に相関があるか？
• RQ3 RST パースツリー上の再帰的ニューラルネットワークが、局所的な感情を組み合わせて、グローバルな文書レベルの予測を効果的に生成できるか？
• RQ4 近年の正確なRSTパーサー（SPADEなど旧来のシステムに比べて）が、感情分析の性能向上にどの程度寄与できるか？
• RQ5 ディス course 意識的な再重み付けまたは再帰的組み合わせが、語彙ベースおよび分類器ベースの感情分析と効果的に組み合わせられるか？

主な発見

• ディス course 樹木の深さと核性に基づく再重み付け手法は、語彙ベースの感情分析を著しく向上させ、ベースライン手法を上回る高い正確性を達成した。
• RST 構造上の再帰的ニューラルネットワークは、bag-of-words分類器および語彙ベースのシステムを上回り、組み合わせモデリングの有効性を示した。
• PangとLee（2004）のデータセットにおいて、提案された再帰的モデルは最先端の性能を達成し、従来の語彙ベースのアプローチよりも正確性が10%以上も向上した。
• 特に、感情が文脈的に隠されている場合、例えば「It could have been great, but...」のような譲歩構造では、最終的な否定節が全体の極性を支配するため、その影響が顕著に現れた。
• 本研究は、現代のRSTパーサー（DPLPなど）が、SPADEのような旧来のシステムとは異なり、感情分析などの下流NLPタスクに十分な正確性を提供していることを確認した。
• 結果から、ディス course 構造は、表面特徴と文書レベルの感情の間の重要な欠落要因であることが示され、感情分析パイプラインに統合すべきである。