[論文レビュー] Explainable Patterns for Distinction and Prediction of Moral Judgement on Reddit

Ion Stagkos Efstathiadis, Guilherme Paulino-Passos+1 more|arXiv (Cornell University)|Jan 26, 2022

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本稿では、r/AmITheAssholeからの60万件のRedditコメントを含む新しいデータセットを紹介し、投稿（62％の正確性）およびコメント（86％の正確性）における道徳的判断を予測するBERTベースの分類器を提案する。GrASPを用いて言語と道徳的立場、およびモデルの意思決定を結びつける説明可能なテクストパターンを同定し、ソーシャルメディアにおけるAI駆動の道徳的判断予測の解釈可能性と信頼性を向上させる。

ABSTRACT

The forum r/AmITheAsshole in Reddit hosts discussion on moral issues based on concrete narratives presented by users. Existing analysis of the forum focuses on its comments, and does not make the underlying data publicly available. In this paper we build a new dataset of comments and also investigate the classification of the posts in the forum. Further, we identify textual patterns associated with the provocation of moral judgement by posts, with the expression of moral stance in comments, and with the decisions of trained classifiers of posts and comments.

研究の動機と目的

• ソーシャルメディアにおける道徳的判断を予測する課題に取り組むこと、特にRedditの構造的で主観的かつ長文の物語的記述において。
• 再現可能な研究を支援するため、r/AmITheAssholeからの60万件のラベル付きRedditコメントを含む公開可能なデータセットを構築すること。
• GrASPを用いて道徳的立場とモデル予測に関連するテキストパターンを同定することで、道徳的判断分類器の解釈可能性を向上させること。
• BERTの長文文脈、クラス不均衡、主観的ラベル付けの限界を調査し、それらの課題を改善するための提案を行うこと。

提案手法

• 投稿およびコメントを「アッシーロ」（YTA/ESH）と「アッシーロでない」（NTA/NAH）の二値分類に適応した、微調整済みのBERT-base-casedモデルを用いる。
• Pushshift APIを用いてr/AmITheAssholeから60万件の主要コメントをスクレイピングし、品質と判定タグでフィルタリングし、漏洩を防ぐためにタグを削除して新しいデータセットを構築した。
• GrASP（グローバルルールベースパターンサーチ）を適用し、コメント／投稿が実際のラベルおよびBERT予測ラベルと関連する高情報量のテキストパターンを抽出した。
• 情報ゲインを用いてパターンをランク付けし、道徳的立場の表現や分類器意思決定に関連する言語的手がかりを特定可能にした。
• ハイパーパramータチューニングを実施し、不均衡なテストセット上で正確性、適合率、再現率、F1スコアを用いて性能を評価した。
• ベースラインモデル（例：多項式ナイーブベイズ、ロジスティック回帰）と比較し、クラス不均衡およびモデルバイアスによる乖離の原因を分析した。

実験結果

リサーチクエスチョン

• RQ1 BERTはRedditの投稿における道徳的判断をどの程度正しく分類できるか。その正確性を制限する要因は何か。
• RQ2 コメントおよび投稿において、テキストパターンは実際の道徳的立場とBERT予測ラベルとどのように相関するか。また、それらはどのような社会学的洞察を提供するか。
• RQ3 GrASPで抽出された説明可能なパターンは、ソーシャルメディアにおける道徳的判断分類器の透明性と信頼性をどの程度向上させるか。
• RQ4 なぜ分類器は投稿に対してはコメントほど正確に動作しないのか。その差を生じさせる要因は何か。
• RQ5 BERT予測ラベルから抽出されたパターンは、実際のラベルには見えないモデルバイアスや一貫性の欠如を明らかにできるか。

主な発見

• BERT分類器はRedditの投稿における道徳的判断予測で62％の正確性を達成したが、多数クラスベースラインを上回れず、長文、主観性、クラス不均衡のため、このタスクは困難であることが示された。
• コメントではBERT分類器が86％の正確性を達成し、多数クラスベースラインを上回った。これは、コメントレベルの道徳的判断は投稿レベルのそれよりも予測が容易であることを示している。
• GrASPは、特定の言語が道徳的立場と関連する高情報量のパターンを同定した。例えば、「I just」や「I didn’t realize」は「スイートハート」（NTA/NAH）の判定と関連している。
• BERT予測ラベルから導かれたパターンは、実際のラベルから導かれたものよりも顕著に高い情報ゲインを示した。これは、モデルの意思決定が人間のラベル付けよりも一貫性があることを示唆している。
• 語の「edit」は実際には「アッシーロ」と関連する場合が多いにもかかわらず、BERTはそれを「スイートハート」と誤って分類した。これは、BERTが中立語の文脈的理解に限界を示していることを明らかにした。
• GrASPのパターンを手動で修正した結果、一部の「スイートハート」と関連づけられたパターンが実際には「アッシーロ」を示していることが判明した。これは、説明可能性ツールの妥当性を検証する上で人間のフィードバックが不可欠であることを強調している。