[論文レビュー] Various Approaches to Aspect-based Sentiment Analysis

Amlaan Bhoi, Sandeep Joshi|arXiv (Cornell University)|May 5, 2018

Sentiment Analysis and Opinion Mining参考文献 11被引用数 23

ひとこと要約

本稿では、TF-IDF、IDエンコーディング、ビットマスク、位置エンコーディングの特徴量を用いて、古典的機械学習モデル（例：SVM、XGBoost）とディープラーニングアーキテクチャ（例：アテンション-LSTM、MemNet）を比較して、アスペクトベースセンチメント分析の複数のアプローチを評価している。MemNetモデルは、アスペクト・コンテキスト関係の抽象化をより効果的に行えるマルチホップアテンション機構のおかげで、最高の精度を記録し、テックレビューで0.713、フードレビューで0.7866の精度を達成した。

ABSTRACT

The problem of aspect-based sentiment analysis deals with classifying sentiments (negative, neutral, positive) for a given aspect in a sentence. A traditional sentiment classification task involves treating the entire sentence as a text document and classifying sentiments based on all the words. Let us assume, we have a sentence such as "the acceleration of this car is fast, but the reliability is horrible". This can be a difficult sentence because it has two aspects with conflicting sentiments about the same entity. Considering machine learning techniques (or deep learning), how do we encode the information that we are interested in one aspect and its sentiment but not the other? Let us explore various pre-processing steps, features, and methods used to facilitate in solving this task.

研究の動機と目的

• アスペクトベースセンチメント分析のための効果的な特徴工学的手法（IDエンコーディング、ビットマスク、位置エンコーディング）を調査すること。
• ハンドクラフト特徴量を用いた古典的機械学習モデル（例：SVM、ランダムフォレスト、XGBoost）のアスペクトセンチメント分類性能を評価すること。
• アテンション-LSTMとMemNetという特定のディープラーニングモデルが、アスペクト・コンテキスト依存関係をどれほど適切に捉えられるかを比較すること。
• アスペクトベースセンチメント分類のための、前処理、特徴工学、モデルアーキテクチャの最適な組み合わせを特定すること。
• 特にニュートラルクラスのF1スコアが低いことへの影響を特に重視して、不均衡データセットにおけるモデル性能を分析すること。

提案手法

• 各アスペクト用語に固有のIDを割り当て、モデル入力用のアスペクトシーケンスを作成するために、IDエンコーディングを適用した。
• アスペクト用語の位置をIDではなく、バイナリインジケータで表現するために、ビットマスクを用いた。
• 各コンテキスト語のアスペクト用語に対する相対的位置をエンコードするために、位置エンコーディングを実装した。
• 古典的機械学習モデルにはTF-IDFベクトル化を適用し、scikit-learnの実装を用いた。
• GLoVe埋め込みを用いた1層のアテンション-LSTMを備えたディープラーニングモデルを構築したが、複雑な依存関係を捉えるには不十分であることが判明した。
• 複数のアテンションホップを持つMemNet（ディープメモリネットワーク）を設計し、コンテキストアテンションと位置アテンションを統合した。TensorFlowで訓練し、アスペクト・コンテキスト相互作用の階層的抽象化を最適化した。

実験結果

リサーチクエスチョン

• RQ1 IDエンコーディング、ビットマスク、位置エンコーディングという特徴工学的手法のうち、どれがアスペクトベースセンチメント分類において最も効果的な表現をもたらすか？
• RQ2 SVM、XGBoostなどの古典的機械学習モデルは、ディープラーニングモデルと比較して、アスペクトベースセンチメント分析タスクにおいてどの程度の性能を示すか？
• RQ3 ドロップアウトやバッチ正則化といったアーキテクチャ的強化を施しても、1層のアテンション-LSTMはなぜこのタスクで一般化性能に欠けるのか？
• RQ4 MemNetのマルチホップアテンション機構は、単一層アテンションモデルに比べて、アスペクト・コンテキスト関係をどれほど効果的に捉えるか？
• RQ5 クラス不均衡とアスペクトフレーズの複雑さは、特にニュートラルセンチメントクラスにおいて、モデル性能にどの程度の影響を与えるか？

主な発見

• MemNetモデルは、テックレビューで0.713、フードレビューで0.7866の最高全体精度を記録し、他のすべてのモデルを上回った。
• ワンホットエンコーディングを用いたSVMは、古典的モデルの中で2番目に高い性能を示し、テックデータセットで0.6112、フードデータセットで0.6629の精度を達成した。
• ETC（エクストラツリー分類器）モデルは、テックレビューでは驚くべき精度0.7021を記録したが、フードレビューでは失敗し、ポジティブクラスのF1スコアはわずか0.3745にとどまった。
• アテンション-LSTMモデルは、ドロップアウト、バッチ正則化、双方向LSTMを用いても、1つのアテンション層では抽象化能力が不十分であったため、性能が低かった。
• ニュートラルクラスは、すべてのモデルで一貫して最も低いF1スコアを示し、クラス不均衡に起因する継続的な課題であることが明らかになった。
• 本研究は、MemNetにおけるマルチホップアテンション機構が、アスペクトとそのコンテキスト語の間の複雑で階層的な依存関係をモデル化するために不可欠であることを確認した。