[論文レビュー] Deep Learning Brasil at ABSAPT 2022: Portuguese Transformer Ensemble Approaches

Juliana Resplande Sant'Anna Gomes, Eduardo Augusto Santos Garcia+7 more|arXiv (Cornell University)|Nov 8, 2023

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

本論文は、2022年のIberLEFで、多言語およびポルトガル語固有のトランスフォーマーを用いたアンサンブルモデルに基づき、ポルトガル語の感情分析（ABSAPT）で最先端の結果を達成した。アスペクト・ターム抽出（ATE）には、ポルトガル語および多言語データで微調整されたRoBERTaとmDeBERTaモデルのアンサンブルを採用。センチメント・オリエンテーション抽出（SOE）には、PTT5-largeモデルの投票アンサンブルを用い、両タスクで82.38%のバランス精度を達成し、新記録を樹立した。

ABSTRACT

Aspect-based Sentiment Analysis (ABSA) is a task whose objective is to classify the individual sentiment polarity of all entities, called aspects, in a sentence. The task is composed of two subtasks: Aspect Term Extraction (ATE), identify all aspect terms in a sentence; and Sentiment Orientation Extraction (SOE), given a sentence and its aspect terms, the task is to determine the sentiment polarity of each aspect term (positive, negative or neutral). This article presents we present our participation in Aspect-Based Sentiment Analysis in Portuguese (ABSAPT) 2022 at IberLEF 2022. We submitted the best performing systems, achieving new state-of-the-art results on both subtasks.

研究の動機と目的

• 2022年のIberLEFで、ポルトガル語の感情分析（ABSAPT）において最先端のパフォーマンスを達成すること。
• 低リソースなポルトガル語テキストにおけるアスペクト・ターム抽出（ATE）とセンチメント・オリエンテーション抽出（SOE）の課題に対処すること。
• 多言語およびポルトガル語固有の事前学習済みトランスフォーマー・モデルを活用して、両サブタスクのパフォーマンスを向上させること。
• アンサンブル戦略およびデータ拡張技術を検討し、クラスの不均衡を軽減し、一般化性能を向上させること。

提案手法

• ATEに関しては、BIOタグ付け済みのポルトガル語データセット上でRoBERTa-PT-baseおよびmDeBERTa-baseモデルを微調整し、MAMs、Evalita、Semevalからの外部多言語データを活用した。
• 最終的なATEモデルは、3つの上位性能モデルの中央値アンサンブルを用い、トークンごとのラベル確率を統合した。
• SOEに関しては、PTT5-largeを用いた条件付きテキスト生成アプローチを採用し、各アスペクト・タームに対してセンチメントラベルを生成するようにプロンプトした。
• SOEのアンサンブルは、複数のPTT5-largeモデルの予測結果を生成ラベル上で投票戦略で統合した。
• GPT-3のプロンプト処理の前に翻訳を一切行わず、ファイントーニングなしでゼロショット推論を実施して、少数ショット能力を評価した。
• 文単位の抽出ではなく、レビュー全体とアスペクト・タームを含むレビュー単位の入力を使用することで、両タスクの文脈を保持した。

Figure 1: Aspect polarity heat map from top 15 ocorrences.

実験結果

リサーチクエスチョン

• RQ1 多言語およびポルトガル語固有のトランスフォーマーに基づくアンサンブルモデルは、単一モデルベースラインに比べ、ポルトガル語のATEおよびSOEで優れた性能を発揮できるか？
• RQ2 GPT-3 や PTT5 のような大規模言語モデルを用いたゼロショットおよび少数ショットプロンプティング戦略は、低リソースなポルトガル語ABSAPにおいてどの程度効果的か？
• RQ3 PTT5-largeモデルの投票アンサンブルは、個々のモデル予測と比較して、センチメント分類のパフォーマンスを向上させるか？
• RQ4 データの不均衡およびアスペクト・タームの分布は、ポルトガル語ABSAPにおけるモデルの一般化性能にどの程度影響を与えるか？
• RQ5 SOEに対して条件付きテキスト生成アプローチが、同じタスクにおける従来の分類微調整と比較して優れているか？

主な発見

• 最終的なATE提出は67.14%の正解率を達成し、他のすべてのチームを上回り、ABSAPT 2022ベンチマークで新記録を樹立した。
• SOEシステムは82.38%のバランス精度、81.80%のF1スコア、81.31%の適合率を達成し、コンテスト全体で1位となった。
• RoBERTa-PT-baseおよびmDeBERTa-baseモデルのアンサンブルは、多言語データで学習した場合に85.9%のF1スコアを記録し、最高のATEパフォーマンスを示した。
• 外部データなしのPTT5-largeは、3つのテストサブセットのうち2つで最高のSOE結果を達成し、サブセット1では86.8%の正解率を記録した。
• ゼロショットのGPT-3推論は80.0%の正解率と66.0%のF1スコアを達成し、ファイントーニングなしでも強力な少数ショット能力を示した。
• アスペクト・タームを含むレビュー全体の入力を使用することで、文単位の抽出に比べSOEパフォーマンスが向上し、文脈的ヒントを保持できた。

Figure 2: The number of occurrences of the 15 most common aspect occurrences in the training dataset.