[論文レビュー] DeepSentiPers: Novel Deep Learning Models Trained Over Proposed Augmented Persian Sentiment Corpus

Javad Pourmostafa Roshan Sharami, Parsa Abbasi Sarabestani+1 more|arXiv (Cornell University)|Apr 11, 2020

Sentiment Analysis and Opinion Mining参考文献 23被引用数 18

ひとこと要約

本稿では、拡張されたペルシャ語センテンスレベルの感情分析コーパスで学習された、2つの新しいアーキテクチャ（Bi-LSTM および CNN）を用いた、ペルシャ語向けの深層学習フレームワークである DeepSentiPers を提案する。3つのデータ拡張技術を導入し、その中でも翻訳ベースの拡張が最も優れた結果を示した：FastText埋め込みと Bi-LSTM を用いた二値分類では F1 スコア 91.986%、多値分類では 69.33% を達成した。

ABSTRACT

This paper focuses on how to extract opinions over each Persian sentence-level text. Deep learning models provided a new way to boost the quality of the output. However, these architectures need to feed on big annotated data as well as an accurate design. To best of our knowledge, we do not merely suffer from lack of well-annotated Persian sentiment corpus, but also a novel model to classify the Persian opinions in terms of both multiple and binary classification. So in this work, first we propose two novel deep learning architectures comprises of bidirectional LSTM and CNN. They are a part of a deep hierarchy designed precisely and also able to classify sentences in both cases. Second, we suggested three data augmentation techniques for the low-resources Persian sentiment corpus. Our comprehensive experiments on three baselines and two different neural word embedding methods show that our data augmentation methods and intended models successfully address the aims of the research.

研究の動機と目的

• 深層学習向けに、適切にアノテートされ、バランスの取れたペルシャ語の感情分析コーパスが不足している問題に対処すること。
• ペルシャ語における二値分類および多値分類の両方を処理できる、新しい深層学習アーキテクチャ（Bi-LSTM および CNN）の開発。
• 低リソースなペルシャ語の感情分析データセットにおけるクラスのバランスを改善するために、3つのデータ拡張技術を提案・評価すること。
• 事前学習済み（FastText）と学習済み（Keras）の単語埋め込みの違いが、感情分類タスクに与える影響を比較すること。
• Bi-LSTM がペルシャ語のテキストベースの感情分類において、長距離依存関係を捉える点で CNN より優れていることを実証すること。

提案手法

• ペルシャ語の文レベル感情分類を目的とした、Bi-LSTM モデルおよび CNN モデルの2つの深層学習アーキテクチャを提案した。
• 訓練データのバランスと多様性を向上させるために、クラス再バランス、バックトランスレーション、同義語置換の3つのデータ拡張技術を適用した。
• Keras および FastText を用いて単語を密な低次元の意味的空間に表現する単語埋め込みを用いた。
• 過学習を防ぐためにドロップアウト（10%）を導入し、二値分類では最終層にシグモイド活性化関数を用いた。
• 元のデータセットにクラスの不均衡が見られたため、主評価指標として加重 F1 スコアを採用した。
• ベースライン機械学習モデル（NB、SVM、SGD）と深層学習モデルを用いて訓練し、データ拡張のバリエーションごとに性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 従来の機械学習ベースラインと比較して、新しい深層学習アーキテクチャは、低リソースなペルシャ語テキストにおける感情分類性能を向上させることができるか？
• RQ2 クラス再バランス、バックトランスレーション、同義語置換のうち、どのデータ拡張技術が不均衡なペルシャ語の感情分析データセットにおけるモデルの汎化性能を最も効果的に向上させるか？
• RQ3 単語埋め込みの選択（Keras と FastText）は、ペルシャ語の感情分類における深層学習モデルの性能に顕著な影響を与えるか？
• RQ4 Bi-LSTM は、ペルシャ語のテキストにおける感情分類において、長距離依存関係を捉える点で CNN より優れているか？
• RQ5 統合された深層学習フレームワークは、ペルシャ語における二値分類および多値分類の両方を効果的に処理できるか？

主な発見

• 翻訳ベースのデータ拡張と FastText 埋め込みを用いた Bi-LSTM モデルが、多値分類の感情分類で最高の F1 スコア 69.33% を達成した。
• 翻訳ベースのデータ拡張を用いた Bi-LSTM モデルは、二値分類で 91.986% の F1 スコアを達成し、ベースラインより 0.674% 高かった。
• 翻訳ベースのデータ拡張は、すべての設定においてモデル性能を向上させ、3つの拡張技術の中で最高の順位を獲得した。
• FastText 埋め込みの使用は、二値分類および多値分類の両設定において Keras 埋め込みよりも優れた性能を示したが、特に Bi-LSTM アーキテクチャにおいて顕著であった。
• Bi-LSTM モデルは、特にペルシャ語テキストにおける長距離依存関係の処理において、CNN モデルを上回る優れた性能を示した。
• 本研究は、単語埋め込みの選択が文脈依存的であり、すべてのタスクにおいて一様に優れる埋め込み手法が存在しないことを確認した。