[논문 리뷰] Towards Countering Essentialism through Social Bias Reasoning

Emily Allaway, Nina Taneja외 2명|Edinburgh Research Explorer|2023. 03. 28.

Social and Intergroup Psychology인용 수 7

한 줄 요약

이 논문은 심리학적 및 언어학적 통찰을 바탕으로 한 접근을 제안하며, '보수파는 둔해'와 같은 본질주의적 신념을 도전하는 자동으로 생성된 반론 문장을 제안한다. 이는 '다수의 사람'이나 '다른 집단'으로 일반화하는 등 다섯 가지 전략을 적용한다. 주요 발견은 본질주의적 신념이 암묵적으로 표현되었을 경우, '다른 집단도 마찬가지로 둔해질 수 있다'와 같은 넓히기 전략(예: '보수파도 둔해질 수 있다')가 참가자들 사이에서 가장 선호된다는 점으로, 편향을 줄이기 위해 언어처리(NLP)와 심리학의 융합 연구의 중요성을 강조한다.

ABSTRACT

Essentialist beliefs (i.e., believing that members of the same group are fundamentally alike) play a central role in social stereotypes and can lead to harm when left unchallenged. In our work, we conduct exploratory studies into the task of countering essentialist beliefs (e.g., ``liberals are stupid''). Drawing on prior work from psychology and NLP, we construct five types of counterstatements and conduct human studies on the effectiveness of these different strategies. Our studies also investigate the role in choosing a counterstatement of the level of explicitness with which an essentialist belief is conveyed. We find that statements that broaden the scope of a stereotype (e.g., to other groups, as in ``conservatives can also be stupid'') are the most popular countering strategy. We conclude with a discussion of challenges and open questions for future work in this area (e.g., improving factuality, studying community-specific variation) and we emphasize the importance of work at the intersection of NLP and psychology.

연구 동기 및 목표

• 언어 속 본질주의적 신념에 대응하는 효과적인 반론 문장을 자동으로 생성하는 방법을 탐구하는 것.
• 사회 집단에 대한 해로운 일반화를 가장 효과적으로 도전할 수 있는 심리학적 및 언어학적 전략을 탐색하는 것.
• 본질주의적 신념의 명시성(암묵적 대비 명시적)이 다양한 반론 유형의 효과성에 미치는 영향을 검토하는 것.
• 인간 평가를 바탕으로 자연어에서 본질주의를 도전하는 데 가장 선호되고 효과적인 전략을 특정하는 것.
• AI에서의 사회적 편향 문제를 해결하기 위해 NLP와 심리학의 융합 연구가 필수적임을 강조하는 것.

제안 방법

• 저자는 다섯 가지 반론 유형을 정의한다: '다수의 사람'으로 넓히기(Lots), 다른 집단으로 넓히기(Alt), 개인을 통한 직접 반증(Dir-Ind), 집단을 통한 직접 반증(Dir-Grp), 일반화를 지적하기(Tol).
• 심리학과 NLP의 통찰을 활용해 대상 집단, 부여된 특성, 그리고 비문장의 형태를 고려해 반론을 생성한다.
• 연구는 사회적 편향 프레임 추론 코퍼스(SBIC)를 사용하여 인간이 작성한 문장과 그 본질주의적 함의를 짝지어, 각 문장에 대해 반론을 생성한다.
• 온라인 인간 연구는 아마존 메카니컬 터크를 통해 세 가지 환경에서 실시되었다: 암묵적 신념, 맥락 없이 명시적 신념, 맥락이 있는 명시적 신념.
• 검토자들은 반론의 효과성에 대해 평가하였으며, 신념 유형과 제시 방식에 따라 선호도를 분석하였다.
• 이 방법은 통제되지 않은 텍스트 생성을 넘어서 심리학적 타당성과 언어적 정확성을 강조하여, 반론 생성의 사실성 향상과 편향 감소를 목표한다.

Figure 1: Two prejudiced statements with their essentialist implications (top), along with our five types of counterstatements automatically generated with our method. According to our results, a preferred strategy is highlighting that an implication applies to more than the targeted group ( Lots or

실험 결과

연구 질문

• RQ1 어떤 종류의 반론이 본질주의적 신념에 가장 효과적으로 대응하는가, 그리고 그 이유는 무엇인가?
• RQ2 본질주의적 신념의 명시성(암묵적 대비 명시적)이 다양한 반론 전략의 효과성에 미치는 영향은 어떠한가?
• RQ3 검토자 신원과 집단 소속이 반론에 대한 선호도에 어떻게 영향을 미치는가?
• RQ4 편견에 기반하지 않은 사실적으로 정확하고 관련성이 있는 직접적인 반례를 생성하는 데의 과제는 무엇인가?
• RQ5 NLP 시스템은 어떻게 본질주의적 신념을 효과적이고 윤리적으로 도전하면서도 편향을 강화하지 않도록 설계할 수 있는가?

주요 결과

• 본질주의적 신념이 암묵적으로 표현되었을 경우, '다른 집단도 마찬가지로 둔해질 수 있다'와 같은 넓히기 전략(예: '보수파도 둔해질 수 있다')이 가장 선호된 반론 유형이었다.
• 특정 개인(Dir-Ind)이나 집단(Dir-Grp)을 통한 직접 반증을 제시한 문장은 가장 인기가 없었지만, 본질주의적 신념이 명시적으로 제시된 경우에 더 효과적이었다.
• 검토자 선호도는 본질주의적 신념이 암묵적으로 제시되었는지 명시적으로 제시되었는지에 따라 크게 달라졌으며, 이는 맥락과 프레임이 효과성 인식에 강력한 영향을 미친다는 것을 시사한다.
• Dir-Ind 유형에서는 잘못된 또는 편견에 기반한 반례가 높은 비율로 발생하여, 사실적으로 정확하고 편견 없는 개인을 반례로 생성하는 데 어려움이 있음을 보여주었다.
• 검토자 인구 통계의 동질성(예: 대부분 백인 또는 남성)은 특히 소수자 집단을 대상으로 할 경우 결과의 일반화 가능성에 제한을 줄 수 있음을 연구가 밝혀냈다.
• 저자는 향후 연구에서 반론 생성의 사실성 향상과 편향 및 정체성의 집단별 차이를 고려한 개선이 필요하다고 강조한다.

(a) First choice.