[論文レビュー] Fine-Grained Emotion Classification of Chinese Microblogs Based on Graph Convolution Networks

Yuni Lai, Linfeng Zhang+3 more|arXiv (Cornell University)|Dec 5, 2019

Sentiment Analysis and Opinion Mining参考文献 35被引用数 5

ひとこと要約

本稿では、中国語のマイクロブログにおける細分化された感情分類を向上させるために、従属構文解析ツリーを活用する構文に配慮したグラフ畳み込みネットワーク（GCN）モデルを提案する。Bi-LSTMの特徴と構文構造をGCNを介して統合し、パーセンタイルプーリングを導入することで、新たにアノテートされた15,664件のマイクロブログから成るデータセット上でF-measure 82.32%を達成し、最先端手法を5.90ポイント上回った。

ABSTRACT

Microblogs are widely used to express people's opinions and feelings in daily life. Sentiment analysis (SA) can timely detect personal sentiment polarities through analyzing text. Deep learning approaches have been broadly used in SA but still have not fully exploited syntax information. In this paper, we propose a syntax-based graph convolution network (GCN) model to enhance the understanding of diverse grammatical structures of Chinese microblogs. In addition, a pooling method based on percentile is proposed to improve the accuracy of the model. In experiments, for Chinese microblogs emotion classification categories including happiness, sadness, like, anger, disgust, fear, and surprise, the F-measure of our model reaches 82.32% and exceeds the state-of-the-art algorithm by 5.90%. The experimental results show that our model can effectively utilize the information of dependency parsing to improve the performance of emotion detection. What is more, we annotate a new dataset for Chinese emotion classification, which is open to other researchers.

研究の動機と目的

• 複雑な構文構造が感情検出の正確性を阻害する中国語マイクロブログにおける細分化された感情分類の課題に対処すること。
• 現在のアプローチでしばしば無視されがちな構文的従属情報の統合を通じて、ディープラーニングモデルの性能を向上させること。
• 外れ値への感受性を低減する新しいパーセンタイルベースのプーリング機構を導入することで、モデルのロバスト性と性能を向上させること。
• 細分化された感情分類のための、新たに高品質で公開可能な15,664件の中国語マイクロブログを含むデータセットを提供すること。

提案手法

• マイクロブログのテキストから初期の単語レベル表現を抽出するために、双方向LSTM（Bi-LSTM）が使用される。
• 入力テキストから従属構文解析ツリーが構築され、各単語をノードとし、文法的依存関係をエッジとしてグラフを形成する。
• グラフ畳み込みネットワーク（GCN）は、従属関係グラフ上でメッセージパッシングを実行し、構文的近傍からの特徴を集約することで単語表現を更新する。
• GCNの最終的な隠れ状態にパーセンタイルプーリング戦略が適用され、従来のマックスプーリングに代わって外れ値に対するロバスト性を向上させる。
• Bi-LSTMおよびGCNの重み行列に直交化制約が適用され、学習の安定化と長距離依存関係の学習改善が図られる。
• モデルは、七つの感情カテゴリ（喜び、悲しみ、好意、怒り、嫌悪、恐怖、驚き）の多クラス感情分類のために、エンドツーエンドで微調整される。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークを介して構文的従属構造を統合することで、中国語マイクロブログにおける細分化された感情分類の性能が向上するか？
• RQ2 パーセンタイルプーリングは、従来のマックスプーリングと比較して、ニューラルネットワークベースの感情検出におけるロバスト性と分類精度においてどのように異なるか？
• RQ3 Bi-LSTMおよびGCN層に直交化制約を適用することで、モデルの収束性と性能はどの程度向上するか？
• RQ4 提案されたモデルは二値感情分類（ポジティブ対ネガティブ）に一般化可能か？また、この設定において既存のモデルと比較してどのように異なるか？

主な発見

• 提案された構文に基づくGCNモデルは、細分化された感情分類においてF-measure 82.32%を達成し、最先端手法を5.90ポイント上回った。
• パーセンタイルプーリングはモデルのロバスト性を向上させ、GCNモデルではマックスプーリングに比べて3.55%の性能向上を達成し、CNNおよびLSTMベースラインでもそれぞれ1.63%および1.65%の向上を示した。
• ペナルティ係数 $1 \times 10^{-8}$ を用いた直交化制約の適用により、マクロF-measureが5.54%向上し、ミクロF-measureが3.39%向上した。
• モデルは、細分化分類および二値感情分類の両方で既存手法を上回り、極性分類では92.04%の精度を達成した。これはCNNの91.65%およびLSTMの90.01%を上回った。
• モデルの性能向上は特に細分化分類において顕著であり、これは構文構造が微細な感情タイプを区別する上で特に価値があることを示している。
• モデルは英語のベンチマーク（例：Stanford Sentiment Treebank）では同様の利点を示さないため、多言語間転移には言語固有の適合が必要であることが示唆された。