[論文レビュー] SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics

Da Yin, Tao Meng+1 more|arXiv (Cornell University)|May 8, 2020

Sentiment Analysis and Opinion Mining参考文献 31被引用数 19

ひとこと要約

SentiBERT は、二段階のアテンションメカニズムを用いて文脈表現と二分木構文解析木を統合することで、合成的センチメント意味を強化する BERT ベースのアーキテクチャである。これはフレーズレベルのセンチメント分類で最先端の性能を達成し、感情分類や Twitter センチメント分析といった関連タスクへの高い汎用性を示しており、とくに否定や対比関係の処理において優れた性能を発揮する。

ABSTRACT

We propose SentiBERT, a variant of BERT that effectively captures compositional sentiment semantics. The model incorporates contextualized representation with binary constituency parse tree to capture semantic composition. Comprehensive experiments demonstrate that SentiBERT achieves competitive performance on phrase-level sentiment classification. We further demonstrate that the sentiment composition learned from the phrase-level annotations on SST can be transferred to other sentiment analysis tasks as well as related tasks, such as emotion classification tasks. Moreover, we conduct ablation studies and design visualization methods to understand SentiBERT. We show that SentiBERT is better than baseline approaches in capturing negation and the contrastive relation and model the compositional sentiment semantics.

研究の動機と目的

• 否定や対比を含む複雑な文における合成的センチメント意味のモデリングの課題に取り組むこと。
• 二分木構文解析木（構文的構造）を、BERT からの文脈依存表現と統合し、センチメントの合成性を向上させること。
• フレーズレベルのアノテーションデータで学習したセンチメント合成性が、他のセンチメント分析および感情分類タスクへの転移性を評価すること。
• 弱教師あり設定下でのモデルの解釈可能性と頑健性を分析すること。

提案手法

• SentiBERT は、文脈依存トークン表現を生成するために BERT をバックボーンとして使用する。
• 二段階のアテンションメカニズムによりフレーズ表現を合成する：まず構成要素トークンにアテンションを適用し、次に子ノード表現を用いてそれを精緻化する。
• 意味的合成モジュールは、マスク言語モデル学習とフレーズレベルのセンチメント予測を同時に端末から学習する。
• フレーズレベルのセンチメントラベルはスタンフォードセンチメントツリーバンク（SST）から取得し、合成モジュールの教師信号として使用する。
• モデルは、フレーズレベルと文レベルのアノテーションを用いて、下流タスクでファインチューニングされる。
• アブレーションスタディおよびアテンション可視化を用いて、モデルの挙動を解釈し、構文的および文脈的コンポーネントの寄与度を分析する。

実験結果

リサーチクエスチョン

• RQ1 構文的構造と文脈表現を統合することで、BERT ベースのモデルが合成的センチメント意味を効果的に捉えられるか？
• RQ2 SentiBERT は、否定や対比関係の処理において、ベースラインモデルと比較してどのように性能を発揮するか？
• RQ3 SST で学習したセンチメント合成性は、他のセンチメント分析および感情分類タスクへの転移にどの程度有効か？
• RQ4 SentiBERT が優れた性能を発揮するために必要なフレーズレベルの教師信号はどの程度か？また、弱教師ありから得られる高信頼度予測が結果を改善できるか？

主な発見

• SentiBERT は、SST-5 フレーズレベルセンチメント分類ベンチマークで 30.7% の精度を達成し、平均プーリングを用いた BERT（26.1%）や他の BERT 変種を上回る。
• 対比関係の処理において、ベースラインと比較して顕著な 1% の向上を示し、'X but Y' トリプレット評価で 30.7% の精度を記録した。
• 否定を含む文において、SentiBERT はベースラインモデルよりもはるかに大きな差を示し、否定効果の処理が優れていることを裏付けた。
• フレーズレベルラベルの 30–50% のみで、SST-5 および SST-3 で競争力ある性能を達成し、XLNet に近い性能に到達した。
• フレーズレベルの教師信号がまったくない状態でも、事前学習段階で 70–80% のフレーズラベルを使用することで、Twitter センチメント分析で XLNet と同等の性能を達成した。
• SST-3 の 40–50% のフレーズノードで予測信頼度が 0.9 以上であり、その高信頼度予測の精度は 90% を超えていた。これは弱教師あり学習の可能性を示唆している。