[論文レビュー] ArSentD-LEV: A Multi-Topic Corpus for Target-based Sentiment Analysis in Arabic Levantine Tweets

Ramy Baly, Alaa Khaddaj+3 more|arXiv (Cornell University)|May 25, 2019

Sentiment Analysis and Opinion Mining参考文献 40被引用数 36

ひとこと要約

ArSenTD-LEV を紹介し、全体感情、感情ターゲット、表現モード、トピックが注釈された 4,000-tweet の Levantine Arabic センチメントコーパス。トピックと表現の注釈がベースライン感情分類を改善することを示し、トピック横断のドメイン課題を強調する。

ABSTRACT

Sentiment analysis is a highly subjective and challenging task. Its complexity further increases when applied to the Arabic language, mainly because of the large variety of dialects that are unstandardized and widely used in the Web, especially in social media. While many datasets have been released to train sentiment classifiers in Arabic, most of these datasets contain shallow annotation, only marking the sentiment of the text unit, as a word, a sentence or a document. In this paper, we present the Arabic Sentiment Twitter Dataset for the Levantine dialect (ArSenTD-LEV). Based on findings from analyzing tweets from the Levant region, we created a dataset of 4,000 tweets with the following annotations: the overall sentiment of the tweet, the target to which the sentiment was expressed, how the sentiment was expressed, and the topic of the tweet. Results confirm the importance of these annotations at improving the performance of a baseline sentiment classifier. They also confirm the gap of training in a certain domain, and testing in another domain.

研究の動機と目的

• Arabic Levantine dialect における感情分析のリソースを提供するため、複数注釈付き Twitter コーパスを導入する。
• トピック、感情ターゲット、表現モードが感情分類性能にどう影響するかを探る。
• アラビア語方言における感情モデルの跨トピック・跨ドメイン効果を評価する。

提案手法

• 45k 件の取得ツイートから 4,000 件の Levantine ツイートをキュレーションする（ジョーダン、レバノン、パレスチナ、シリア）。
• クラウドソースで注釈を収集する：全体感情（5段階）、感情ターゲット、明示/暗黙の表現、トピック。
• 事前定義されたトピック（政治、宗教、スポーツ、個人）と、サンプリングを誘導するトピック別キーワードリストを収集。
• 多数決で注釈を集約し、Tie を処理するため annotator trust scores を用いる；Annotators の最長共通部分列からターゲットを導出。
• タスク間のアノテーション品質を、トピック・感情・表現などの評価指標で評価する。
• TF-IDF の uni-/bi-grams を用いたベースライン感情分類器を訓練し、一般的モデルとトピック考慮型モデルを比較し、トピックと表現機能の包含が与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 アラビア語レバンテのツイートにおいて、感情ターゲットとトピックを注釈することは、ターゲットベースの感情分類を改善するのか。
• RQ2 トピック情報は跨トピックと同一トピックの感情モデル性能にどのように影響するのか。
• RQ3 明示的に表現された感情と暗示的表現の分類精度にはどのような影響があるのか。
• RQ4 トピック対応型および表現対応型の特徴は、レバンティン方言の感情分析におけるドメイン・方言の変動を緩和できるのか。

主な発見

Features	Scenario	Accuracy	Macro-F1
uni-/bi-grams	Generic	0.51	0.50
uni-/bi-grams	Same-Topic	0.58	0.53
uni-/bi-grams	Cross-Topic	0.40	0.39
uni-/bi-grams + annotations	Generic	0.63	0.63
uni-/bi-grams + annotations	Same-Topic	0.64	0.62
uni-/bi-grams + annotations	Cross-Topic	0.56	0.54

• ターゲット・トピック・表現の注釈は、ベースラインの精度と Macro-F1 を大幅に向上させる（トピックと表現機能を追加すると絶対値で最大約 13 ポイント）。
• 跨トピックの学習は同一トピックの学習と比べて性能を劣化させ、トピックシフトがある感情モデルの跨ドメイン課題を浮き彫りにする。
• 明示的な感情表現は実質的な改善をもたらす（一部の設定で約 10% ポイントの絶対的増加）。
• トピック対応モデルはトピック非依存のベースラインを上回り、アラビア語方言の感情分析におけるトピック文脈の重要性を裏付ける。