[論文レビュー] Structural Bias for Aspect Sentiment Triplet Extraction

Chen Zhang, Lei Ren+4 more|arXiv (Cornell University)|Sep 2, 2022

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本稿では、事前学習言語モデル（PLM）に相対的距離バイアスを組み込む軽量な構造的アダプタを提案する。このアプローチにより、パラメータ増加が最小限で、低レイテンシーを実現しつつ、最先端の性能を達成した。従来の計算コストの高い構文的従属解析の代わりに、効率的な相対距離符号化を採用しており、PLMベースのASTEシステムにおいても構造的バイアスの重要性が保たれることを示している。

ABSTRACT

Structural bias has recently been exploited for aspect sentiment triplet extraction (ASTE) and led to improved performance. On the other hand, it is recognized that explicitly incorporating structural bias would have a negative impact on efficiency, whereas pretrained language models (PLMs) can already capture implicit structures. Thus, a natural question arises: Is structural bias still a necessity in the context of PLMs? To answer the question, we propose to address the efficiency issues by using an adapter to integrate structural bias in the PLM and using a cheap-to-compute relative position structure in place of the syntactic dependency structure. Benchmarking evaluation is conducted on the SemEval datasets. The results show that our proposed structural adapter is beneficial to PLMs and achieves state-of-the-art performance over a range of strong baselines, yet with a light parameter demand and low latency. Meanwhile, we give rise to the concern that the current evaluation default with data of small scale is under-confident. Consequently, we release a large-scale dataset for ASTE. The results on the new dataset hint that the structural adapter is confidently effective and efficient to a large scale. Overall, we draw the conclusion that structural bias shall still be a necessity even with PLMs.

研究の動機と目的

• 事前学習言語モデル（PLM）を用いる際、構造的バイアスが依然として必要かどうかを調査すること。
• 特にパラメータおよびレイテンシーのオーバーヘッドの観点から、既存の構造的バイアス統合手法の非効率性を是正すること。
• メインモデルパラメータの微調整を伴わずに、PLMに構造的バイアスを効率的に組み込む軽量で効率的なアダプタを開発すること。
• 提案手法の有効性を、標準ベンチマークおよび新規にリリースされた大規模なASTEデータセット上で評価すること。

提案手法

• PLMの自己注意機構に、相対的距離からの構造的注意マップを追加する構造的アダプタを提案する。
• 構文的従属構造の簡略化された代理としての相対距離を用い、計算コストを低減しつつ性能を維持する。
• 原始的な注意マップに加法的にアダプタを統合することで、追加パラメータ数を最小限に抑える。
• PLMの完全な微調整を回避するパラメータ効率の良いアダプタ設計を採用し、モデルの効率性を維持する。
• 従属解析の明示的処理を、計算が安価な相対距離符号化に置き換えることで、レイテンシー効率を向上させる。
• SemEvalベンチマークおよび新規にリリースされた大規模データセット、𝕃𝕒𝕤𝕥𝕖𝕕を用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルを用いる際、構造的バイアスは依然として、感情分析トリプレット抽出（ASTE）に必要であるか。
• RQ2 高いパラメータまたはレイテンシーのコストを伴わずに、構造的バイアスをPLMに効率的に統合できるか。
• RQ3 構文的従属構造の代替として相対的距離を用いることで、ASTEにおける性能が維持または向上するか。
• RQ4 提案された構造的アダプタは、大規模で現実世界のASTEデータに対して、既存のベースラインと比較してどのように性能を発揮するか。

主な発見

• 提案された構造的アダプタは、SemEvalベンチマークで最先端のF1スコアを達成し、強力なベースラインを上回るが、パラメータ増加は最小限に抑えられた。
• 新規にリリースされた大規模データセット𝕃𝕒𝕤𝕥𝕖𝕕においても、アダプタは一貫した性能向上を示し、スケールにおける有効性を確認した。
• BERT-baseを用いたGTSではF1が1.57ポイント向上（44.92 → 45.79）、MuGでは1.94ポイント向上（46.22 → 47.22）を達成した。
• 従属解析を相対距離計算に置き換えることで、レイテンシーが低減され、構文解析よりも計算が安価である。
• RoBERTa-largeでは性能向上が見られなかったため、より大きなPLMにこの手法を適応させるにはさらなる研究が必要である。
• 結果から、強力なPLMの時代であっても、構造的バイアスはASTEにおいて依然として不可欠であり、特に効率的に統合された場合にその必要性が顕著に現れることを確認した。