[論文レビュー] MoralBERT: A Fine-Tuned Language Model for Capturing Moral Values in Social Discussions

Vjosa Preniqi, Iacopo Ghinassi+3 more|arXiv (Cornell University)|Mar 12, 2024

Hate Speech and Cyberbullying Detection被引用数 7

ひとこと要約

要約: MoralBERT は Moral Foundations Theory（道徳基盤理論）の注釈付き Twitter、Reddit、Facebook データでファインチューニングされた BERT モデルであり、同一ドメインの道徳的価値予測は高性能だが、異なるドメインでの性能は混在しており、ドメイン対立訓練を導入した変種は主に単一ラベル設定で効果を発揮する。

ABSTRACT

Moral values play a fundamental role in how we evaluate information, make decisions, and form judgements around important social issues. Controversial topics, including vaccination, abortion, racism, and sexual orientation, often elicit opinions and attitudes that are not solely based on evidence but rather reflect moral worldviews. Recent advances in Natural Language Processing (NLP) show that moral values can be gauged in human-generated textual content. Building on the Moral Foundations Theory (MFT), this paper introduces MoralBERT, a range of language representation models fine-tuned to capture moral sentiment in social discourse. We describe a framework for both aggregated and domain-adversarial training on multiple heterogeneous MFT human-annotated datasets sourced from Twitter (now X), Reddit, and Facebook that broaden textual content diversity in terms of social media audience interests, content presentation and style, and spreading patterns. We show that the proposed framework achieves an average F1 score that is between 11% and 32% higher than lexicon-based approaches, Word2Vec embeddings, and zero-shot classification with large language models such as GPT-4 for in-domain inference. Domain-adversarial training yields better out-of domain predictions than aggregate training while achieving comparable performance to zero-shot learning. Our approach contributes to annotation-free and effective morality learning, and provides useful insights towards a more comprehensive understanding of moral narratives in controversial social debates using NLP.

研究の動機と目的

• ソーシャルメディアの道徳的語りを分析する動機付けと、テキスト中の道徳価値を Moral Foundations Theory (MFT) で定量化する。
• 多様で注釈付きのソーシャルメディアデータで訓練された BERT ベースのモデル（MoralBERT）を開発・比較し、道徳基盤を検出する。
• 単一ラベル（道徳価値の有無）および多重ラベル（複数の価値）設定の内在ドメイン・非内在ドメインの性能を評価し、ドメイン対立変種を含む。
• ファインチューニング済み言語表現からの利得を評価するため、レキシコンベースおよび Word2Vec+ML のベースラインとベンチマークを行う。

提案手法

• MFT カテゴリに注釈された Twitter、Reddit、Facebook データを統合して、BERT-base シーケンス分類器をファインチューニングする。
• ドメイン不変表現を学習し、勾配反転レイヤを含むドメイン対立拡張を実験する。
• ドメイン不変投影への L2 正則化と元の BERT 埋め込みに近づく再構成損失を組み込み、損失重みのハイパーパラメータ探索を行う。
• King and Zeng (2001) に従う重み付き損失でクラス不均衡に対処し、1対多(単一ラベル) 対 多重ラベル設定を併用する。
• テキストの前処理（URL削除、@user は言及、絵文字はテキストとしてマッピング、非 ASCII を削除）を行い、最大シーケンス長を 150 に設定；内ドメインで 5-fold クロスバリデーション、異ドメインでの検証を実施。
• MoralStrength（レキシコンベース）および Random Forest with Word2Vec embeddings をベースラインとして MoralBERT と比較する。

Figure 1: Moral label distribution from the MFTC data.

実験結果

リサーチクエスチョン

• RQ1 MoralBERT は複数のソーシャルメディアプラットフォームからのテキストで道徳基盤の有無を正確に検出できるか？
• RQ2 ドメイン対立訓練は道徳価値予測のクロスドメイン一般化を改善し、単一ラベル vs 多重ラベル設定に差があるか？
• RQ3 内ドメインと非内ドメインの性能は、道徳基盤（Care、Fairness、Loyalty、Authority、Purity）およびデータソース（Twitter、Reddit、Facebook）ごとにどう比較されるか？

主な発見

モデル	Care F1	Care Recall	Care Precision	Fairness F1	Fairness Recall	Fairness Precision	Loyalty F1	Loyalty Recall	Loyalty Precision	Authority F1	Authority Recall	Authority Precision	Purity F1	Purity Recall	Purity Precision	Avg F1	Avg Recall	Avg Precision
MoralStrength	0.28	0.49	0.17	0.22	0.49	0.14	0.16	0.59	0.10	0.13	0.54	0.10	0.10	0.46	0.10	0.18	0.51	0.12
RF Word2Vec	0.24	0.15	0.61	0.40	0.27	0.81	0.33	0.21	0.69	0.29	0.18	0.75	0.28	0.18	0.60	0.31	0.20	0.69
MoralBERT	0.75	0.84	0.67	0.74	0.85	0.67	0.65	0.82	0.57	0.61	0.81	0.51	0.55	0.77	0.46	0.66	0.82	0.60
MoralBERT adv	0.73	0.82	0.66	0.73	0.86	0.65	0.65	0.81	0.56	0.59	0.82	0.48	0.54	0.77	0.42	0.65	0.82	0.55
MoralStrength (Multi)	0.62	0.54	0.72	0.66	0.57	0.78	0.58	0.45	0.80	0.50	0.38	0.75	0.45	0.35	0.70	0.56	0.46	0.75
RF Word2Vec (Multi)	0.62?	0.54?	0.72?	0.66?	0.57?	0.78?	0.58?	0.45?	0.80?	0.50?	0.38?	0.75?	0.45?	0.35?	0.70?	0.56?	0.46?	0.75?
MoralBERT (Multi)	0.62	0.54	0.72	0.66	0.57	0.78	0.58	0.45	0.80	0.50	0.38	0.75	0.45	0.35	0.70	0.56	0.46	0.75
MoralBERT adv (Multi)	0.60	0.50	0.75	0.64	0.53	0.81	0.53	0.39	0.80	0.41	0.28	0.77	0.40	0.27	0.85	0.52	0.40	0.80

• MoralBERT（単一ラベル）は、ベースラインより内ドメインで F1 を約 32% 向上させる。
• MoralBERT（多重ラベル）は、内ドメインで F1 を約 29% 向上させる。
• 非内ドメイン検証では、ドメイン対立訓練を用いた単一ラベル MoralBERT が一般に性能を向上させる一方、多重ラベルでの対立訓練は MoralBERT と比べて劣る。
• 3 つのドメインすべてにおいて、ドメイン対立訓練は一貫して多ドメイン内ドメイン性能を改善するわけではないが、非内ドメインの単一ラベル予測には有利である。
• 単一ラベルモデルは多重ラベルモデルを一貫して上回る傾向があり、道徳次元間の相互依存性やデータの不均衡が要因となっている可能性がある。
• Care および Fairness は、過小表現される値（例: Purity、Authority）よりも、より安定して学習される。

Figure 2: Moral label distribution from the MFRC data.