[論文レビュー] PVG at WASSA 2021: A Multi-Input, Multi-Task, Transformer-Based Architecture for Empathy and Distress Prediction

Atharva Kulkarni, Sunanda Somwase+2 more|arXiv (Cornell University)|Mar 4, 2021

Mental Health via Writing参考文献 27被引用数 5

ひとこと要約

本論文では、テキスト、デモグラフィック、心理的テストスコア、語彙的特徴を統合したマルチインプット・マルチタスクのトランスフォーマー基盤モデルを提示し、ニュース記事からの共感と苦痛スコアの予測を実現している。基本的な感情分類と共感／苦痛の回帰を同時に学習することで、SOTAの性能を達成し、WASSA 2021共有タスクにおいて共感相関（0.517）で2位、苦痛相関（0.574）と平均相関（0.545）で1位を獲得した。

ABSTRACT

Active research pertaining to the affective phenomenon of empathy and distress is invaluable for improving human-machine interaction. Predicting intensities of such complex emotions from textual data is difficult, as these constructs are deeply rooted in the psychological theory. Consequently, for better prediction, it becomes imperative to take into account ancillary factors such as the psychological test scores, demographic features, underlying latent primitive emotions, along with the text's undertone and its psychological complexity. This paper proffers team PVG's solution to the WASSA 2021 Shared Task on Predicting Empathy and Emotion in Reaction to News Stories. Leveraging the textual data, demographic features, psychological test score, and the intrinsic interdependencies of primitive emotions and empathy, we propose a multi-input, multi-task framework for the task of empathy score prediction. Here, the empathy score prediction is considered the primary task, while emotion and empathy classification are considered secondary auxiliary tasks. For the distress score prediction task, the system is further boosted by the addition of lexical features. Our submission ranked 1$^{st}$ based on the average correlation (0.545) as well as the distress correlation (0.574), and 2$^{nd}$ for the empathy Pearson correlation (0.517).

研究の動機と目的

• ニュース記事に対する共感と苦痛という複雑な感情状態の予測を、マルチモodalおよび心理的特徴を用いて向上させること。
• 基本的な感情と共感／苦痛の間の相関関係をモデル化することで、回帰性能が向上するかを調査すること。
• 語彙的特徴（NRC、Empath）が共感と苦痛の予測に与える影響を評価すること。
• 110,000パラメータ未満の軽量で効率的なディープラーニングアーキテクチャを構築し、感情認識タスクに適応させること。
• WASSA 2021共有タスクの共感と苦痛予測ベンチマークで高い性能を達成すること。

提案手法

• マルチインプットアーキテクチャは、テキスト入力をRoBERTaで処理するとともに、カテゴリー変数（例：性別）と数値変数（例：心理テストスコア）を統合し、統一された表現を生成する。
• マルチタスク学習フレームワークにより、3つのタスクを同時に実行する：(1) 基本的 emotions 分類（6カテゴリ）、(2) 高共感／高苦痛のバイナリ分類、(3) Batson の共感的共感と個人的苦痛スコアの回帰。
• 共有トランスフォーマー・エンコーダーとタスク固有のヘッドを用いることで、タスク間でのパラメータ共有と知識の転送を可能にする。
• NRC感情強度辞書、NRC感情の価値・覚醒・優位性の辞書、およびEmpathの語彙的特徴をRoBERTaの埋め込みと連結し、入力表現を豊かにする。
• 固定初期の学習率1×10⁻³を用いたAdam最適化アルゴリズムで、エポックごとの学習率スケジューリングと早期停止を適用し、RoBERTa層の重みを凍結してエンドツーエンドで訓練する。
• 過学習を防ぐためにL2正則化とドロップアウト（0.2）を適用し、検証損失に基づいて最良のモデルを選択する。

実験結果

リサーチクエスチョン

• RQ1 デモグラフィックおよび心理的テストスコアを統合することで、テキストコンテンツにおける共感と苦痛の予測性能が向上するか？
• RQ2 基本的 emotions を補助タスクとしてモデル化することで、共感と苦痛の回帰性能が向上するか？
• RQ3 NRCおよびEmpathの語彙的特徴が、共感予測と苦痛予測の両方の性能にどのように影響するか？
• RQ4 マルチインプット・マルチタスクのトランスフォーマー・アーキテクチャは、単一タスクまたは単一インプットモデルよりも、感情状態の回帰において効果的か？
• RQ5 語彙的特徴の追加が、なぜ共感予測には悪影響を及ぼし、苦痛予測には好影響を与えるのか？

主な発見

• マルチインプット・マルチタスクのトランスフォーマー・モデルは、共感予測でピアソン相関0.517を達成し、WASSA 2021テストセットで2位となった。
• 苦痛予測の相関は0.574で共有タスクで1位、平均相関0.545でも1位を達成した。
• デモグラフィックおよび心理的特徴を組み込むことで、シンプルなRoBERTaベースラインよりも性能が向上し、それらの特徴の予測価値が裏付けられた。
• マルチタスク学習の設定により顕著な性能向上が見られ、基本的 emotions と複雑な感情状態の間の共有表現の価値が示された。
• NRC + Empathの語彙的特徴を追加すると、苦痛予測は向上（0.53 vs. 0.49）したが、共感相関は低下（0.64 vs. 0.74）した。これは、共感関連語彙的特徴にノイズやバイアスが含まれている可能性を示唆している。
• 110,000パラメータ未満のモデルでも強力な性能を達成しており、パラメータ制限にもかかわらず効率性と一般化能力の高さが裏付けられた。