[論文レビュー] Towards Countering Essentialism through Social Bias Reasoning

Emily Allaway, Nina Taneja+2 more|Edinburgh Research Explorer|Mar 28, 2023

Social and Intergroup Psychology被引用数 7

ひとこと要約

本稿では、心理的および言語的知見に基づいたアプローチを提案し、『リベラルは馬鹿だ』のような本質主義的信念を自動的に挑戦する反論文を生成する。5つの異なる戦略（例えば、他の集団へのスケーリングや『多くの人々』への一般化）を用いる。主な発見は、本質主義的信念が暗黙的である場合に、スケーリング戦略（例：『保守派も馬鹿になれる』）が参加者にとって最も好まれることであり、これは、バイアスを是正するための、NLPと心理学の統合的研究の重要性を強調している。

ABSTRACT

Essentialist beliefs (i.e., believing that members of the same group are fundamentally alike) play a central role in social stereotypes and can lead to harm when left unchallenged. In our work, we conduct exploratory studies into the task of countering essentialist beliefs (e.g., ``liberals are stupid''). Drawing on prior work from psychology and NLP, we construct five types of counterstatements and conduct human studies on the effectiveness of these different strategies. Our studies also investigate the role in choosing a counterstatement of the level of explicitness with which an essentialist belief is conveyed. We find that statements that broaden the scope of a stereotype (e.g., to other groups, as in ``conservatives can also be stupid'') are the most popular countering strategy. We conclude with a discussion of challenges and open questions for future work in this area (e.g., improving factuality, studying community-specific variation) and we emphasize the importance of work at the intersection of NLP and psychology.

研究の動機と目的

• 言語における本質主義的信念に対抗するための、効果的な反論文を自動生成する方法を調査すること。
• 社会的集団に関する有害な一般化に効果的に挑戦するための、心理的および言語的戦略を探索すること。
• 本質主義的信念の明示的・暗黙的表現が、異なる反論文タイプの効果性に与える影響を検討すること。
• 人間の評価に基づき、自然言語における本質主義に対抗するうえで最も好まれる・効果的な戦略を同定すること。
• AIにおける社会的バイアスに対処するため、NLPと心理学の交差分野における今後の研究の必要性を強調すること。

提案手法

• 著者らは5種類の反論文を定義している：『多くの人々』へのスケーリング（Lots）、代替集団へのスケーリング（Alt）、個人による直接的反証（Dir-Ind）、集団による直接的反証（Dir-Grp）、一般化の指摘（Tol）。
• 反論文は、標的集団、付与された特性、スティグマの言語的形態を考慮し、心理学およびNLPの知見を応用して生成される。
• 本研究では、人間が作成した文とその本質主義的含意をペアにしたSocial Bias Frames Inference Corpus（SBIC）を用い、各文に対して反論文を生成する。
• Amazon Mechanical Turkを用いて、3つの状況（暗黙的信念、文脈なしの明示的信念、文脈ありの明示的信念）でオンライン人間実験を実施した。
• アノテーターは反論文の効果性を評価し、信念の種別と提示方法に基づいて好みを分析した。
• 本手法は、制御のないテキスト生成を避け、心理的妥当性と言語的正確性を重視しており、反論文生成における事実性の向上とバイアスの低減を目的としている。

Figure 1: Two prejudiced statements with their essentialist implications (top), along with our five types of counterstatements automatically generated with our method. According to our results, a preferred strategy is highlighting that an implication applies to more than the targeted group ( Lots or

実験結果

リサーチクエスチョン

• RQ1 どのタイプの反論文が本質主義的信念に対抗するために最も効果的であり、その理由は何か？
• RQ2 本質主義的信念の明示的・暗黙的表現の違いが、異なる反論戦略の効果性に与える影響は何か？
• RQ3 アノテーターのアイデンティティおよび集団加盟状況が、反論文の好みに与える影響は何か？
• RQ4 スティグマに対し、事実的かつ関連性のある直接的反例を生成する際の課題は何か？
• RQ5 NLPシステムは、バイアスを強化しないように、どのようにして効果的かつ倫理的に本質主義的信念に対抗できるか？

主な発見

• 本質主義的信念が暗黙的である場合に特に好まれる反論文タイプは、スケーリング戦略（例：『保守派も馬鹿になれる』）であり、これは他の集団へのスティグマの適用を含む。
• 特定の個人（Dir-Ind）や集団（Dir-Grp）による直接的反証は、全体的に人気が低かったが、本質主義的信念が明示的に提示された場合にはより効果的であった。
• アノテーターの好みは、本質主義的信念が暗黙的か明示的かによって顕著に異なり、文脈とフレーミングが効果性の認識に強く影響することが示された。
• Dir-Indカテゴリでは、誤ったまたはステレオタイプに陥った反例が多数生成されており、事実的かつステレオタイプでない個人を反例として生成する課題が浮き彫りになった。
• アノテーターのデモグラフィック要因（例：白人や男性が大多数を占める）の均一性は、特にマイノリティ集団を標的にした場合に、結果の一般化可能性を制限する可能性があることが判明した。
• 著者らは、今後の研究において、反論文生成における事実性の向上と、バイアスおよびアイデンティティのコミュニティ特有の変異を考慮する必要性を強調している。

(a) First choice.