[論文レビュー] Pars-ABSA: an Aspect-based Sentiment Analysis dataset for Persian

Taha Shangipour ataei, Kamyar Darvishi+3 more|arXiv (Cornell University)|Jul 26, 2019

Sentiment Analysis and Opinion Mining参考文献 20被引用数 9

ひとこと要約

本稿では、1100万人以上の母語話者がいるペルシャ語向けの、手作業でアノテートされたペルシャ語ベースの感情分析データセット「Pars-ABSA」を紹介する。このデータセットには、5,602件の固有のレビューからなる10,004件のレビュー（うち5,114件が肯定的、3,061件が否定的、1,827件がニュートラル）が含まれており、3名のペルシャ語話者によって検証済みである。本稿では、最先端のディープラーニングモデルを用いたこのデータセットにおけるベースライン性能を確立し、類似した英語ベースのモデルと同等の結果を得た。

ABSTRACT

Due to the increased availability of online reviews, sentiment analysis had been witnessed a booming interest from the researchers. Sentiment analysis is a computational treatment of sentiment used to extract and understand the opinions of authors. While many systems were built to predict the sentiment of a document or a sentence, many others provide the necessary detail on various aspects of the entity (i.e. aspect-based sentiment analysis). Most of the available data resources were tailored to English and the other popular European languages. Although Persian is a language with more than 110 million speakers, to the best of our knowledge, there is a lack of public dataset on aspect-based sentiment analysis for Persian. This paper provides a manually annotated Persian dataset, Pars-ABSA, which is verified by 3 native Persian speakers. The dataset consists of 5,114 positive, 3,061 negative and 1,827 neutral data samples from 5,602 unique reviews. Moreover, as a baseline, this paper reports the performance of some state-of-the-art aspect-based sentiment analysis methods with a focus on deep learning, on Pars-ABSA. The obtained results are impressive compared to similar English state-of-the-art.

研究の動機と目的

• ペルシャ語向けに公開可能なアスペクトベースの感情分析データセットが不足しているという問題に対処すること。ペルシャ語は1億1,000万人以上の母語話者がいる言語である。
• 言語的正確性と信頼性を確保するため、高品質で手作業でアノテートされたペルシャ語のアスペクトベースの感情分析用データセットを構築すること。
• ペルシャ語のような低リソースで非ヨーロッパ言語における最先端のディープラーニングモデルの評価のためのベンチマークを提供すること。
• 標準化され、検証済みのデータセットを公開することで、低リソース・非英語のアスペクトベースの感情分析分野における今後の研究を可能にすること。

提案手法

• データセットは、3名のペルシャ語話者による5,602件の固有のペルシャ語レビューの手作業アノテーションを通じて構築された。アノテーションの一貫性と品質を確保するためである。
• 各レビューは、標準化されたアノテーションスキームに従い、アスペクト語とその対応する感情極性（肯定的、否定的、ニュートラル）にアノテートされた。
• 最終的なデータセットには、3つの感情クラスにまたがる10,004件のアノテート済みサンプルが含まれており、アスペクトと感情タイプの両方でバランスの取れた表現がなされている。
• アスペクトベースの感情分析のための最先端のディープラーニングアーキテクチャに基づくベースラインモデルを、Pars-ABSAデータセット上で微調整し、評価した。
• モデルのパフォーマンスを評価するために、F1スコア、適合率、再現率といった評価指標がテスト分割に対して用いられた。
• アノテーションプロセスには、ラベル付けの客観性を低下させず、信頼性を確保するためのアノテーター間一致度のチェックが含まれていた。

実験結果

リサーチクエスチョン

• RQ1 アスペクトベースの感情分析のための既存の最先端ディープラーニングモデルは、低リソースで非英語の言語（ペルシャ語）に対してどの程度効果的か。
• RQ2 手作業でアノテートされたペルシャ語データセットの品質と構造が、アスペクトベースの感情分析におけるモデルパフォーマンスにどの程度影響を与えるか。
• RQ3 提案されたPars-ABSAデータセットは、今後のペルシャ語NLPおよびアスペクトベースの感情分析研究の信頼できるベンチマークとして機能できるか。
• RQ4 Pars-ABSAにおけるモデルのパフォーマンスは、類似した英語ベースのデータセットにおけるパフォーマンスと比べてどの程度か。

主な発見

• Pars-ABSAデータセットには、5,602件の固有のペルシャ語レビューから得られた10,004件の高品質な手作業アノテート済みサンプルが含まれており、肯定的が5,114件、否定的が3,061件、ニュートラルが1,827件である。
• データセットは3名のペルシャ語話者によって検証されており、高いアノテーター間一致度と言語的正確性が確保されている。
• ベースラインディープラーニングモデルはPars-ABSAで競争力のあるパフォーマンスを達成しており、適切な微調整により最先端の手法がペルシャ語に効果的に一般化できることを示している。
• 結果から、提案されたデータセットは低リソース環境におけるアスペクトベースの感情分析モデルの学習および評価に適していることが示された。
• Pars-ABSAにおけるモデルのパフォーマンスは、英語ベースのベンチマークにおける類似モデルと同等であり、データセットの信頼性と有用性を示している。
• Pars-ABSAの提供により、特に低リソースおよび非ヨーロッパ言語環境における今後のペルシャ語NLPおよびアスペクトベースの感情分析分野の研究が可能になった。