[論文レビュー] The Moral Foundations Reddit Corpus

Jackson Trager, Alireza S. Ziabari+16 more|arXiv (Cornell University)|Aug 10, 2022

Hate Speech and Cyberbullying Detection被引用数 23

ひとこと要約

MFRCを紹介。更新されたモラル・ファウンデーション理論の下で8つの道徳感情カテゴリに注釈付けされた16,123の英語レディットコメントのデータセット、ベースラインNLPモデルとMFTCとのクロスコーパス転送を含む。

ABSTRACT

Moral framing and sentiment can affect a variety of online and offline behaviors, including donation, environmental action, political engagement, and protest. Various computational methods in Natural Language Processing (NLP) have been used to detect moral sentiment from textual data, but achieving strong performance in such subjective tasks requires large, hand-annotated datasets. Previous corpora annotated for moral sentiment have proven valuable, and have generated new insights both within NLP and across the social sciences, but have been limited to Twitter. To facilitate improving our understanding of the role of moral rhetoric, we present the Moral Foundations Reddit Corpus, a collection of 16,123 English Reddit comments that have been curated from 12 distinct subreddits, hand-annotated by at least three trained annotators for 8 categories of moral sentiment (i.e., Care, Proportionality, Equality, Purity, Authority, Loyalty, Thin Morality, Implicit/Explicit Morality) based on the updated Moral Foundations Theory (MFT) framework. We evaluate baselines using large language models (Llama3-8B, Ministral-8B) in zero-shot, few-shot, and PEFT (Parameter-Efficient Fine-Tuning) settings, comparing their performance to fine-tuned encoder-only models like BERT (Bidirectional Encoder Representations from Transformers). The results show that LLMs continue to lag behind fine-tuned encoders on this subjective task, underscoring the ongoing need for human-annotated moral corpora for AI alignment evaluation. Keywords: moral sentiment annotation, moral values, moral foundations theory, multi-label text classification, large language models, benchmark dataset, evaluation and alignment resource

研究の動機と目的

• 公開され、プラットフォーム多様性のある道徳感情注釈コーパスを更新されたモラルファウンデーション理論（MFT）に基づいて提供する。
• Twitterを超えた道徳言語のクロスドメイン・クロスプラットフォーム分類を可能にする。
• 今後の道徳感情検出の研究ベンチマークとしての基準モデルと評価を提供する。
• 注釈者メタデータを公開し、 annotator biasと道徳注の信頼性を研究する。

提案手法

• 12のサブレディットからUS政治、フランス政治、日常の道徳生活を網羅する16,123のRedditコメントを精選する。
• 各投稿を8つの基盤（Care, Equality, Proportionality, Loyalty, Authority, Purity, Thin Morality, Implicit/Explicit Morality）に加えてNon-Moralと信頼度の注釈を付ける。
• FairnessをEqualityとProportionalityに分割する更新されたMFT分類を採用し、Thin MoralityとImplicit/Explicitカテゴリを追加する。
• 複数の注釈者による設定を用い、各投稿に最低3名の注釈者によるトレーニングと注釈者間信頼性の検査を実施する。
• 注釈者のデモグラフィクスや心理学的指標を公開し、注釈者の偏りと注釈への影響を分析する。
• ラベルの希少性に対処するため weighted loss を用いた stratified 10-fold cross-validation で DDR-SVM、BERT単一ラベル、BERT多ラベルの基準分類器を訓練・評価する。
• MFRCとMoral Foundations Twitter Corpus (MFTC) の間でモデルを転送してクロスコーパス分類を行う。

実験結果

リサーチクエスチョン

• RQ1 MFRCがReddit上で8つの道徳的基盤を検出するデータセットとしてどのように機能するか。
• RQ2 DDR-SVM、BERT単一ラベル、BERT多ラベルなどのベースラインNLPモデルがMFRCの道徳感情を分類する際の比較はどうか。
• RQ3 MFRCとMFTC間の転移性能はどのようで、道徳言語モデルのクロスドメイン一般化について何を示唆するか。

主な発見

• BERTモデルは一般的にDDR-SVMベースラインをF1と精度で上回る。SVMはしばしば再現率が高い。全体的な道徳感情分類（Table 10）では、単一ラベル設定で全データに対してF1=0.76、精度0.72、再現率0.81を達成。ML-BERTはF1=0.73、精度0.74、再現率0.73。
• クロスコーパス転移は、MFTCで訓練されたモデルがMFRCでのF1を向上させる傾向があり、ツイッターをベースとしたデータで訓練された場合の方がクロスドメイン性能が高いことを示す（Tables 11–13のAuthority、Care、Fairness関連指標）。
• MFRCは7つのカテゴリ（Care, Equality, Proportionality, Loyalty, Authority, Purity, Thin Morality）にImplicit/Explicit MoralityとNon-Moralを加えた構成を用い、Fairnessの細分化でEqualityとProportionalityを分割した更新されたMFTを反映している。
• 注釈者メタデータはMFRC注釈者間にリベラル寄りの傾向と高所得層の背景を示しており、道徳的ラベリングにおける注釈者 bias の研究を可能にする。