[論文レビュー] Does syntax matter? A strong baseline for Aspect-based Sentiment Analysis with RoBERTa

Junqi Dai, Hang Yan+3 more|arXiv (Cornell University)|Apr 11, 2021

Sentiment Analysis and Opinion Mining参考文献 16被引用数 12

ひとこと要約

この論文は、RoBERTaをアスペクトベースセンチメント分析（ABSA）で微調整した場合、感情語を中心とした文法的構造を暗黙的に学習することが示され、単純なRoBERTa+MLPモデルが4ヶ国語6データセットで最先端またはほぼ最先端の性能を達成している。外部の依存木に依存するより複雑なモデルを上回っている。研究では、微調整済みRoBERTaが生成する木構造が、パーサーが提供する木構造や既成品のPTMが生成する木構造を上回っていることが示され、事前学習モデルが明示的な文法的特徴工学を経ずに、タスク固有の文法的推論を内部に内蔵できることを示している。

ABSTRACT

Aspect-based Sentiment Analysis (ABSA), aiming at predicting the polarities for aspects, is a fine-grained task in the field of sentiment analysis. Previous work showed syntactic information, e.g. dependency trees, can effectively improve the ABSA performance. Recently, pre-trained models (PTMs) also have shown their effectiveness on ABSA. Therefore, the question naturally arises whether PTMs contain sufficient syntactic information for ABSA so that we can obtain a good ABSA model only based on PTMs. In this paper, we firstly compare the induced trees from PTMs and the dependency parsing trees on several popular models for the ABSA task, showing that the induced tree from fine-tuned RoBERTa (FT-RoBERTa) outperforms the parser-provided tree. The further analysis experiments reveal that the FT-RoBERTa Induced Tree is more sentiment-word-oriented and could benefit the ABSA task. The experiments also show that the pure RoBERTa-based model can outperform or approximate to the previous SOTA performances on six datasets across four languages since it implicitly incorporates the task-oriented syntactic information.

研究の動機と目的

• 事前学習モデル（例：RoBERTa）が、アスペクトベースセンチメント分析に有用な文法的構造を暗黙的に学習しているかどうかを調査すること。
• 標準パーサーが生成する依存木と、事前学習モデル（PTM）が生成する木構造、および微調整済みPTM（FT-PTM）が生成する木構造の性能を比較すること。
• 微調整済みPTMが生成する文法的木構造を組み込むことで、純粋なRoBERTaベースのモデルに比べてABSA性能が向上するかどうかを評価すること。
• 微調整済みRoBERTaが生成する木構造の構造的性質を分析し、それが感情語とどのように整合しているかを特定すること。

提案手法

• 隠れ表現に対して摂動マスキング手法を適用し、事前学習済みRoBERTaから依存木に類似した木構造を生成する。
• 6つのABSAデータセットでRoBERTaを微調整し、タスクに適応した木構造（FT-RoBERTa木）を生成する。
• パーサーが提供する木構造、既成品のPTMが生成する木構造、およびFT-PTMが生成する木構造を用いた木ベースABSAモデルの性能を比較する。
• 外部構文特徴を一切使用しない単純なMLPヘッドを備えたRoBERTaを用い、4ヶ国語6データセットでモデルを評価する。
• 2つの指標を用いて木構造を分析する：隣接接続の割合、およびアスペクト-感情距離（AsD）。
• アブレーションスタディを実施し、RoBERTaに木構造を追加することで性能が向上するかどうかをRoBERTa単体のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 微調整済みRoBERTaから生成された木構造は、標準パーサーが生成する依存木をABSAタスクで上回るか？
• RQ2 RoBERTaがABSAの微調整過程で暗黙的に学習する構文的構造は、手作業で作成された特徴やパーサーが生成する特徴よりも有益であるか？
• RQ3 RoBERTaを微調整することで、木構造が感情語中心のものにどの程度変化するか？
• RQ4 RoBERTaから生成された木構造を組み込むことで、純粋なRoBERTa+MLPベースラインに比べて性能が向上するか？
• RQ5 過去のRoBERTaベースのABSAモデルが性能を発揮できない理由は、最適化やアーキテクチャの選択に起因するのか？

主な発見

• 単純なMLPヘッドを備えたRoBERTaモデルが、4ヶ国語6データセットすべてで最先端またはほぼ最先端の性能を達成しており、外部構文構造に依存するより複雑なモデルを上回っている。
• 微調整済みRoBERTa（FT-RoBERTa）が生成する木構造は、パーサーが提供する依存木および既成品のPTMが生成する木構造を下回る性能を示している。
• FT-RoBERTaが生成する木構造では、アスペクト-感情距離（AsD）が顕著に低く、アスペクトとその感情語との間の接続が短く直接的であることが示された。
• 微調整後、FT-RoBERTaが生成する木構造における隣接接続の割合が減少した。これは、感情分類に適した長距離依存関係をモデル化する方向にシフトしていることを示唆している。
• RoBERTaベースのモデルに生成された木構造を組み込むと、性能が向上せず、場合によっては劣化することもあった。これは、暗黙的構文構造と明示的構文構造の間に矛盾がある可能性を示している。
• 分析により、ABSAで微調整されたRoBERTaが、明示的な構文特徴工学を経ずに、その生成する木構造を感情語中心に適応させることで性能が向上していることが確認された。