[論文レビュー] PELESent: Cross-domain polarity classification using distant supervision

Edilson A. Corrêa, Vanessa Queiroz Marinho+4 more|arXiv (Cornell University)|Jul 9, 2017

Sentiment Analysis and Opinion Mining被引用数 1

ひとこと要約

本稿では、ほぼ100万件のツイートを学習データとして用い、絵文字と絵文字を用いた遠隔監視手法であるPELESentを提案する。この手法により、ポルトガル語向けの大規模かつ多言語対応の感情分析コーパスを自動的に構築した。本手法は、5つの多様なコーパスにおいて、ドメインの変化や言語の差異に対しても頑健であり、一部のケースでは最先端のモデルを上回る、競争力のあるクロスドメイン感情分類性能を達成した。

ABSTRACT

The enormous amount of texts published daily by Internet users has fostered the development of methods to analyze this content in several natural language processing areas, such as sentiment analysis. The main goal of this task is to classify the polarity of a message. Even though many approaches have been proposed for sentiment analysis, some of the most successful ones rely on the availability of large annotated corpus, which is an expensive and time-consuming process. In recent years, distant supervision has been used to obtain larger datasets. So, inspired by these techniques, in this paper we extend such approaches to incorporate popular graphic symbols used in electronic messages, the emojis, in order to create a large sentiment corpus for Portuguese. Trained on almost one million tweets, several models were tested in both same domain and cross-domain corpora. Our methods obtained very competitive results in five annotated corpora from mixed domains (Twitter and product reviews), which proves the domain-independent property of such approach. In addition, our results suggest that the combination of emoticons and emojis is able to properly capture the sentiment of a message.

研究の動機と目的

• ポルトガル語、特に低リソース言語としての感情分析コーパスの不足を解決すること。
• 絵文字と絵文字を弱いラベルとして用いる遠隔監視を活用することで、手作業アノテーションのコストと手間を低減すること。
• 自動生成された訓練データの有効性を、ポルトガル語におけるクロスドメイン感情分類タスクで評価すること。
• 絵文字と絵文字の使用が、非公式なテキストにおける感情表現を向上させるかどうかを調査すること。
• ソーシャルメディアや製品レビューのドメインをまたいで一般化できる、スケーラブルでドメインに頑健な感情分析手法を開発すること。

提案手法

• 絵文字と絵文字を感情極性（肯定的、否定的、ニュートラル）の弱いラベルとして用い、ツイッターのデータに遠隔監視を適用する。
• 絵文字の使用が示す感情に基づき、約100万件のポルトガル語ツイートから自動的に大規模な訓練コーパスを構築する。
• ロジスティック回帰（単語埋め込みw2v、TF-IDF、Doc2Vec d2v）およびディープラーニングモデル（CNN、RCNN）を含む、複数のモデルをこの遠隔監視コーパスで学習する。
• ハイブリッド手法は、語彙的特徴と学習された表現を組み合わせることで、製品レビューのような構造的・規則的なテキストでの性能を向上させる。
• 5つの手作業でアノテートされたコーパス（ツイッター2つ：BPE-Dilma、BPE-Serra、製品レビュー3つ：Buscape-1、Buscape-2、Mercado Livre）でモデルを評価する。
• 評価指標にはF1スコア（マクロ平均）、再現率（マクロ平均）、正答率を用い、先行研究の最先端結果と比較する。

実験結果

リサーチクエスチョン

• RQ1 絵文字と絵文字を用いた遠隔監視により、手作業アノテーションを最小限に抑えつつ、ポルトガル語向けの大規模で高品質な感情分析コーパスを効果的に生成できるか？
• RQ2 遠隔監視コーパスで学習したモデルは、クロスドメイン感情分類タスクにどの程度一般化できるか？
• RQ3 絵文字と絵文字の信号を含めることで、非公式で低リソースなテキストにおける感情分類モデルの性能が向上するか？
• RQ4 TF-IDF、単語埋め込み、パラグラフベクトルなどの異なるテキスト表現手法は、遠隔監視コーパスで学習した際にどの程度の性能を示すか？
• RQ5 ソーシャルメディアから製品レビューのドメインに移行する際、モデルの性能はどの程度低下または向上するか？

主な発見

• PELESentアプローチは、5つの多様な感情分類コーパスにおいて、SotA結果と9.69%〜12.24%の差で競争力のある結果を達成したが、訓練に異なるドメインを用いているにもかかわらず、その結果は顕著であった。
• Buscape-1およびBuscape-2コーパスでは、RCNNおよびハイブリッドモデルが最高のF1スコアを記録し、RCNNはF1=0.76542、ハイブリッドモデルはF1=0.76681を達成した。
• Mercado Livreコーパスでは、RCNNモデルがF1=0.85612、ハイブリッドモデルがF1=0.86141を達成し、ベースライン手法を著しく上回った。
• 絵文字に基づく遠隔監視の活用により、効果的なクロスドメイン移行が可能となり、語彙的特徴がより効果的な製品レビューのデータセットでも高い性能を発揮した。
• ディープラーニングモデル（CNN、RCNN）は、遠隔監視コーパスで学習したにもかかわらず、競争力ある性能を示した。これは、大規模なデータにより、浅層モデルと深層モデルの性能差が縮小されることを示している。
• 言語の差異や時間的変化に対しても、一貫した性能を示したため、本手法は言語の変化や時間的シフトに対して耐性があることが示された。