[논문 리뷰] Examining the Presence of Gender Bias in Customer Reviews Using Word Embedding

Arul Mishra, Himanshu Mishra외 1명|arXiv (Cornell University)|2019. 01. 01.

Consumer Market Behavior and Pricing참고 문헌 36인용 수 5

한 줄 요약

이 연구는 1,100만 건의 아마존 및 양파 리뷰에 GloVe 단어 임베딩을 적용하여 소비자 리뷰에서 성별 고정관념 편향을 탐지한다. 여성은 '기민한', '집에만 있는' 등의 부정적 특성과 더 강하게 연관되어 있는 반면, 남성은 '충성스러운', '현명한' 등의 긍정적 특성과 연결되어 있다. 이러한 편향은 소비자 선택에 영향을 미치며, 특히 부정적 평가 조건에서 여성 소비자가 긍정적 특성을 지닌 제품을 선택할 가능성이 감소한다. 이는 제품 추천 시스템에서 알고리즘이 성별 고정관념을 강화하고 있음을 보여준다.

ABSTRACT

Humans have entered the age of algorithms. Each minute, algorithms shape countless preferences from suggesting a product to a potential life partner. In the marketplace algorithms are trained to learn consumer preferences from customer reviews because user-generated reviews are considered the voice of customers and a valuable source of information to firms. Insights mined from reviews play an indispensable role in several business activities ranging from product recommendation, targeted advertising, promotions, segmentation etc. In this research, we question whether reviews might hold stereotypic gender bias that algorithms learn and propagate Utilizing data from millions of observations and a word embedding approach, GloVe, we show that algorithms designed to learn from human language output also learn gender bias. We also examine why such biases occur: whether the bias is caused because of a negative bias against females or a positive bias for males. We examine the impact of gender bias in reviews on choice and conclude with policy implications for female consumers, especially when they are unaware of the bias, and the ethical implications for firms.

연구 동기 및 목표

• 알고리즘이 학습하고 확산시킬 수 있는 소비자 리뷰에 성별 고정관념 편향이 포함되어 있는지 조사하기 위해.
• 이러한 편향이 여성에 대한 부정적 고정관념 때문인지, 남성에 대한 긍정적 고정관념 때문인지 규명하기 위해.
• 성별 편향이 담긴 리뷰가 소비자 의사결정, 특히 제품 추천 시스템에서 어떤 영향을 미치는지 평가하기 위해.
• 편향된 리뷰가 알고리즘 결정을 형성함에 있어 기업과 여성 소비자에게 미치는 윤리적 및 정책적 함의를 부각하기 위해.

제안 방법

• 1,100만 건의 아마존 및 양파 소비자 리뷰에서 의미적 연관성을 분석하기 위해 GloVe(Global Vector) 단어 임베딩을 적용함.
• 대규모 텍스트에서 단어 벡터를 훈련시켜 단어와 성별 특성 간의 의미 관계를 포착함.
• 암묵적 성별 편향을 측정하기 위해 단어 유사도 및 유사도 유추 기법을 사용함 (예: '여성' → '기민한' 대비 '남성' → '현명한').
• 통제된 실험을 수행하여 성별에 따라 다른 추천 조건이 소비자 선택에 어떤 영향을 미치는지 테스트함.
• 검색 쿼리 결과를 분석하여 성별 어휘(예: '현명한 쇼핑객' 대비 '기민한 쇼핑객')가 다른 이미지 연관성을 유도하는지 확인함.
• 로그오즈 비율과 z-검정을 사용하여 조건 간 선택 행동의 통계적 차이를 평가함.

실험 결과

연구 질문

• RQ1 소비자 리뷰에 알고리즘이 학습하고 확산시킬 수 있는 암묵적 성별 편향이 존재하는가?
• RQ2 관찰된 성별 편향은 여성에 대한 부정적 연관성 때문이냐, 남성에 대한 긍정적 연관성 때문이냐?
• RQ3 리뷰의 성별 편향이 소비자 선택에 영향을 미치는가, 특히 제품 추천 시스템에서 그러한 영향이 있는가?
• RQ4 추천의 정서적 성격(긍정적 대비 부정적)이 소비자 의사결정에 성별 편향의 영향을 어떻게 변화시키는가?

주요 결과

• 여성은 소비자 리뷰에서 '기민한', '기민한', '집에만 있는' 등의 부정적 특성과 유의미하게 더 강하게 연관되어 있는 반면, 남성은 '충성스러운', '현명한', '성실한' 등의 긍정적 특성과 더 연결되어 있다.
• 제품 추천 실험에서 부정적 추천은 여성 소비자가 긍정적 특성을 지닌 제품을 선택할 가능성을 감소시켰지만, 긍정적 추천은 그들의 선택에 유의미한 영향을 주지 않았다.
• 남성 소비자에게서는 긍정적 추천이 긍정적 특성 제품 선택 비율을 63.84%로 높였고, 이는 대조 조건(54.1%)보다 유의미하게 높았다. 반면 부정적 추천은 영향을 주지 않았다.
• 남성 소비자의 긍정적 추천 하에서의 로그오즈 비율은 -0.42 (p < 0.04)였으며, 이는 긍정적 추천이 남성 행동에 통계적으로 유의미한 영향을 미친다는 것을 나타낸다.
• 부정적 성별 어휘를 포함한 검색 쿼리(예: '기민한 쇼핑객')는 긍정적 어휘(예: '현명한 쇼핑객')보다 더 많은 여성 관련 이미지를 유도했으며, 이는 알고리즘이 성별 고정관념을 확대하고 있음을 시사한다.
• 편향된 리뷰는 특히 여성 소비자가 경력 중심 또는 고가 제품에서 멀어지게 하며, 제품 추천에서 차별적 결과를 초래할 수 있으며, 이는 기업과 소비자에게 윤리적 우려를 제기한다.