[論文レビュー] Exploiting Document Knowledge for Aspect-level Sentiment Classification

Ruidan He, Wee Sun Lee+2 more|arXiv (Cornell University)|Jun 12, 2018

Sentiment Analysis and Opinion Mining参考文献 15被引用数 19

ひとこと要約

本稿では、文書レベルのセンチメント知識を活用して、アスペクトレベルのセンチメント分類を向上させる手法を提案する。事前学習とアテンションベースのLSTMを用いたマルチタスク学習を採用する。SemEvalの4つのデータセットにおける実験では、大規模な文書レベルコーパスから知識を転送することで、モデルの汎化性能を向上させ、ニュートラルなセンチメントやドメイン固有のセンチメントに対する誤りを低減し、特にデータが不均衡な場合に顕著な向上が得られた。

ABSTRACT

Attention-based long short-term memory (LSTM) networks have proven to be useful in aspect-level sentiment classification. However, due to the difficulties in annotating aspect-level data, existing public datasets for this task are all relatively small, which largely limits the effectiveness of those neural models. In this paper, we explore two approaches that transfer knowledge from document- level data, which is much less expensive to obtain, to improve the performance of aspect-level sentiment classification. We demonstrate the effectiveness of our approaches on 4 public datasets from SemEval 2014, 2015, and 2016, and we show that attention-based LSTM benefits from document-level knowledge in multiple ways.

研究の動機と目的

• ニューラルモデルの性能を制限する高品質でアノテーション済みのアスペクトレベルセンチメントデータの限られた可用性に対処すること。
• 大規模で入手しやすい文書レベルのセンチメントデータからの知識が、アスペクトレベルのセンチメント分類を改善できるかどうかを調査すること。
• 事前学習とマルチタスク学習によるトランスファーラーニングの有効性を、アスペクトレベルセンチメントモデルの向上に評価すること。
• 文書レベルの知識がモデルの予測をどのように改善するか、特にニュートラルなセンチメントや否定文などの困難なケースについて分析すること。

提案手法

• 文書レベルのセンチメント事前学習から初期化された単語埋め込みを用いて、アスペクトレベルデータ上で注意機構を備えたLSTMモデルを微調整する。
• アスペクトレベルと文書レベルのセンチメント分類タスクを同時に学習することで、表現を共有するマルチタスク学習を適用する。
• 埋め込み層、LSTM層、出力層に焦点を当て、文書レベルモデルからアスペクトレベルモデルへパラメータを転送する。
• 隠れ状態とターゲット表現の間のアライメントスコアを計算するコンテンツベースのアテンション機構を用いて、ターゲット固有の文書表現を生成する。
• 意見ターゲット語の単語埋め込みの平均をターゲット表現として計算する。
• マルチタスク学習における両方のタスクの損失項を含む組み合わせ損失関数を最適化することでモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 大規模な文書レベルセンチメントデータからの知識が、アスペクトレベルセンチメント分類モデルの性能を向上させられるか？
• RQ2 文書レベルデータでの事前学習が、アスペクトレベルセンチメントモデルの表現品質にどのように影響するか？
• RQ3 文書レベルデータを用いたマルチタスク学習が、アスペクトレベルセンチメントタスクにおける汎化性能をどのように向上させるか？
• RQ4 トランスファーラーニングは、特にニュートラルなセンチメント予測において、不均衡データセットでの性能低下を緩和するのを助けるか？
• RQ5 否定、ドメイン固有の意見語彙、一般的なセンチメント語彙などの予測誤り（例：ベースラインモデルが誤分類するもの）は、文書レベルの知識を統合することでどの程度効果的に低減されるか？

主な発見

• 文書レベルデータでの事前学習は、特にマルチタスク学習と組み合わせた場合、アスペクトレベルセンチメント分類の正確性とマクロ-F1スコアを顕著に向上させる。
• 事前学習とマルチタスク学習の組み合わせ（PRET+MULT）は、SemEvalの4つのデータセットすべてで最高の性能を達成し、アスペクトレベルデータでのみ学習したモデルを上回った。
• LSTM層と埋め込み層の転送は、出力層の転送よりもより大きな向上をもたらす。これは、前者がタスク間でより汎用的であるためである。
• 極めて不均衡なデータセット（D3とD4）では、埋め込み層の転送によりマクロ-F1が著しく向上し、特にニュートラルなセンチメントとレアなセンチメントクラスで顕著だった。
• 否定、ドメイン固有の意見語彙、およびベースラインモデルが誤分類する一般的なセンチメント語彙に関する誤りが、効果的に低減された。
• 文書レベル学習データの40％のみを用いても、D3とD4におけるマクロ-F1スコアに顕著な向上が見られ、トランスファー手法の高いデータ効率性が示された。