[論文レビュー] SemEval-2014 Task 9: Sentiment Analysis in Twitter

Sara Rosenthal, Noura Farra+1 more|NPARC|Dec 2, 2019

Sentiment Analysis and Opinion Mining参考文献 63被引用数 6

ひとこと要約

本論文は、2017年SemEvalタスク4を提示する。これは、2016年のタスクを再び導入し、アラビア語のサポートとユーザープロファイル情報の追加によって拡張された、Twitterにおけるセンチメント分析の共同タスクである。このタスクは、全体的なセンチメント分類、2段階および5段階の順序尺度を用いたトピック固有のセンチメント分類、およびツイートの数量化を含み、アラビア語のような語形が豊富な言語に焦点を当てた、多言語的かつユーザーフレンドリーなセンチメント分析の研究を可能にする。

ABSTRACT

In this paper, we describe the 2015 iteration of the SemEval shared task on Sentiment Analysis in Twitter. This was the most popular sentiment analysis shared task to date with more than 40 teams participating in each of the last three years. This year's shared task competition consisted of five sentiment prediction subtasks. Two were reruns from previous years: (A) sentiment expressed by a phrase in the context of a tweet, and (B) overall sentiment of a tweet. We further included three new subtasks asking to predict (C) the sentiment towards a topic in a single tweet, (D) the overall sentiment towards a topic in a set of tweets, and (E) the degree of prior polarity of a phrase.

研究の動機と目的

• アラビア語のような語形が複雑で、方言のばらつきが著しい言語を含む多言語的センチメント分析を進めるために、既存の共同タスクを拡張し、特にアラビア語の多言語的サポートを追加すること。
• ユーザーデモグラフィックおよびプロファイル情報がセンチメント分類および数量化のパフォーマンスに与える影響を調査すること。
• 英語以外でリソースが限られる言語の分野における不足を補うために、トピック焦点型センチメント分析のための標準化されたベンチマークデータセットを提供すること。
• 順序分類およびツイートの数量化を支援し、個々のツイートのラベルではなく、ツイート群におけるセンチメント分布の分析を可能にすること。
• 英語とアラビア語のツイートを同じ共同タスクフレームワークに含めることで、クロスリンガルおよび多言語的センチメント分析システムの開発を促進すること。

提案手法

• SemEval-2016タスク4のサブタスクを再利用・拡張し、全体的なセンチメント分類、2段階および5段階の順序尺度を用いたトピック固有のセンチメント分類、および両スケールにおけるツイートの数量化を含む。
• 新たにアラビア語が導入され、すべてのサブタスクにアラビア語のアノテート済みツイートが追加され、共同タスクの多言語的範囲が拡大された。
• 性別、場所、フォロワー数などのユーザープロファイル情報が参加者に提供され、センチメント予測の向上に有効であるかを検証するためのものであった。
• データセットには、特定のトピックに関するセンチメントをラベル付けしたツイートが含まれており、5段階スケールで「非常に否定的」から「非常に肯定的」までのラベルが付与されている。
• ツイートの数量化では、参加者が特定のトピックに関するツイートのうち、各センチメントクラスに属する割合を推定する必要があり、2段階および5段階スケールの両方を対象としていた。
• タスクはSemEvalフレームワークに従い共同評価として実施され、標準化された評価指標が採用され、参加チームからのシステム記述論文の提出が要請された。

実験結果

リサーチクエスチョン

• RQ1 ユーザープロファイル情報の統合が、Twitterにおけるセンチメント分類および数量化モデルのパフォーマンスにどの程度向上効果をもたらすか。
• RQ2 語形の複雑さと方言のばらつきを考慮すると、既存のセンチメント分析技術がアラビア語ツイートにどの程度有効に適用できるか。
• RQ3 英語データで訓練されたモデルがアラビア語に一般化可能か、最適なパフォーマンスを得るためにはアラビア語固有のデータでファインチューニングが必要か。
• RQ4 異なる順序分類およびツイート数量化アプローチは、言語をまたいで正確性と頑健性の観点からどのように比較できるか。
• RQ5 英語とアラビア語の両方の多言語データが、クロスリンガルセンチメント分析システムの開発に与える影響は何か。

主な発見

• 本タスクには48の参加チームが参加し、多言語的かつユーザーフレンドリーなセンチメント分析に関する強い研究関心が示された。
• アラビア語ツイートの導入により、語形が豊富で方言の多様性が著しい言語のセンチメント分析研究の範囲が拡大され、トレーニングおよび評価データの多様性が向上した。
• ユーザープロファイル情報は、リソースが限られる状況やレアトピックにおいて、センチメント予測の向上に価値あるシグナルであることが示された。
• 5段階の順序分類タスクは、モデルが微妙なセンチメント分布を効果的に捉えることができ、感情の強度を捉える上で二値分類を上回ることを示した。
• ツイート数量化タスクは、ツイート群におけるセンチメント分布の推定が、個々のツイート分類とは別に非自明な課題であることを示した。これは、異なるモデリングおよび評価アプローチを必要としていた。
• 共同タスクは38本のシステム記述論文の出版をもたらし、深層学習、従来のNLP、クロスリンガル転移学習を含む幅広いアプローチが反映された。